ByteDance'in USDB depolama sistemi yazma gecikmesini yüzde 85,8, altyapı maliyetini yüzde 42,1 düşürüyor

Makale neyi anlatıyor

2 Kasım 2026'da arXiv'e gönderilen ve ertesi gün Hacker News ana sayfasında öne çıkan ByteDance mühendislerinin makalesi, şirketin öneri sistemlerinin arkasındaki streaming ve batch iş yükleri için tasarlanmış birleşik dizi depolama sistemi USDB'yi tanımlıyor. Xiaoran Zhu, Jieming Cai ve Weiping Yu'nun da aralarında bulunduğu yazarlar tarafından hazırlanan ve arXiv:2611.02618 numarasıyla listelenen gönderi, temel sorunu bir depolama asimetrisi olarak çerçeveliyor: öneri modelleri giderek daha uzun ve nitelik açısından zengin kullanıcı geçmişleri tüketiyor, bu da depolamanın bir yandan küçük ve sürekli güncellemeleri emmesi, diğer yandan tekrarlayan büyük okumaları aynı anda karşılaması gerektiği anlamına geliyor.

USDB, ByteDance'in bu asimetriye verdiği yanıt: her tüketici için ayrı depolama yolları oluşturmak yerine, alım (ingestion), çıkarım (inference) ve eğitimin paylaşılan dizi verisinden tek bir sistemle hizmet almasını amaçlayan bir yapı.

Dört tasarım öğesi

Makalenin özetine göre sistem dört ana bileşen üzerine kurulu:

• CascadeLSM: aşamalı compaction işlemlerinin uygulamaya özel geçmişleri oluşturduğu, zamana dayalı bir compaction tasarımı. Etkinlikte, depolamanın zaten yapması gereken bakım işi, öneri sisteminin gerçekten okuduğu geçmiş görünümlerini üretiyor.
• Kalıcı dosyaları paylaşan farklılaştırılmış replikalar; böylece farklı görevler üstlenen replikalar her biri bağımsız kopya tutmak yerine aynı temel veriden besleniyor.
• Çıkarım girdilerini her şeyi sıfırdan yeniden hesaplamak yerine, yakalanan güncel durum ile sürümlü geçmişi birleştirerek yeniden oluşturan kısmi dökümler (partial dump).
• Yansıtılmış okumaları ( projected read), yani bir kaydın niteliklerinin yalnızca bir alt kümesine ihtiyaç duyulan durumları hızlandıran hibrit kolonlu format.

Yazarlara göre bağlayıcı fikir, compaction'ın salt bir yük olmaktan çıkıp üzerinde katmanlanan iş yüklerine hizmet eden paylaşılan bir temel haline gelmesi için, depolama bakımının sonuçlarının alım, çıkarım ve eğitim arasında yeniden kullanılması.

Bildirilen sayılar

Özet, hem üretim geçişinden hem de kontrollü deneylerden elde edilen sonuçları raporluyor:

• Üretim geçiş kayıtları ortalama yazma gecikmesinde yüzde 85,8 düşüş gösteriyor.

• Normalize edilmiş dağıtım muhasebesi altyapı maliyetinde yüzde 42,1 düşüş gösteriyor.

• Optimize edilmiş bir RocksDB dizi taban çizgisiyle yapılan kontrollü karşılaştırmalarda sistem, yansıtılmış okumalar ve istemci yükleri genelinde daha hızlı uzun geçmiş okumaları sağladı.

• Aggregation pushdown, kısıtlı bir alım bütçesi altında normal okumaların 8,5 katı işleme hızını sürdürdü.

Makale ayrıca üretim ortamında yeniden yapılandırma ve doğrudan dosyadan eğitim sonuçlarını da raporluyor; yazarlar bunu, paylaşılan dizi bakımının hem güncel servis hem de tekrarlayan geçmişe erişimi destekleyebildiğinin kanıtı olarak sunuyor.

Neden önemli

USDB'nin hedeflediği iş yükü şekli ByteDance'e özgü değil. Çevrimiçi çıkarım tarafından tekrar tekrar okunan ve eğitim için periyik olarak yeniden okunan uzun, ekleme ağırlıklı kullanıcı ya da olay geçmişleri, genel olarak makine öğrenmesi için feature store, event store ve dizi veritabanlarının arkasındaki standart kalıptır. Bu tür bir altyapı işleten herkes, makalenin tanımladığı yazma-karşı-okuma asimetrisiyle karşı karşıya.

Çıkarılacak özel ders artımlı değil mimari: compaction ve diğer bakım işlerini, alım, çıkarım ve eğitimin tümünün tüketebileceği birinci sınıf bir ürün olarak ele almak, hem gecikme hem de maliyet açısından getiriler sağlıyor gibi görünüyor; arka planda minimize edilmesi gereken bir yük olarak görmek yerine. Ayarlanmış bir RocksDB taban çizgisiyle yapılan karşılaştırma ayrıca uygulayıcılara yararlı bir referans noktası veriyor ve kazançların genel amaçlı bir motoru daha da ayarlamaktan değil, depolamayı dizi iş yükünün çevresinde yeniden tasarlamaktan geldiğini gösteriyor.

Bir uyarı yerinde olur: bu bir v1 ön baskısı ve öne çıkan rakamlar yazarların kendi üretim ortamlarından aldıkları ölçümler. Özet, dağıtımın ölçeğini ya da geçiş taban çizgisini ayrıntılı olarak tanımlamıyor. Bağımsız doğrulama mevcut değil; bu endüstriyel sistem makaleleri için her zaman olduğu gibi bir durum, ama rakamlar yine de kendi kendine bildirilmiş. Bu uyarıya rağmen tasarım fikirleri — uygulama görünümlerini oluşturan compaction, dosya paylaşan replikalar, güncel durum artı sürümlü geçmişten yeniden yapılandırma ve yansıtılmış okumalar için kolonlu düzenler — öneri ve diğer dizi temelli makine öğrenmesi iş yükleri için büyük ölçekli depolama kuran ekipler için doğrudan aktarılabilir kavramlar.