· kaynak Hacker News – Front Page (native)
Zerodha, SQLite üzerinde çalışan sharded bir blob deposu olan Blobasaur'ı open source yaptı
Zerodha, eskiyen SSDB altyapısının yerini alan Blobasaur'ı open source etti. Rust ile yazılan bu sunucu, SQLite'ı standart makineler arasında shard'lara bölüyor ve Redis protokolüyle konuşarak saniyede binlerce blob okuma ve yazma işlemini hizmet veriyor.

SQLite üzerine kurulmuş bir blob deposu
Hindistan merkezli aracı kurum Zerodha, mühendislik blogunda duyurduğu üzere, depolama motoru olarak SQLite kullanan, Rust ile yazılmış sharded bir blob deposu olan Blobasaur'ı open source etti. Sunucu Redis protokolüyle konuşuyor, tek bir statik binary olarak dağıtılıyor ve halihazırda production'da çalışıyor; bu iş yükünü daha önce üstlenen sistemi tamamen yerine almış durumda.
Bu iş yükü, Zerodha'nın yaklaşık 20 milyon müşteriye hizmet veren Kite adlı işlem platformundan geliyor. Kullanıcılar ekranlarını yoğun şekilde özelleştiriyor: çoklu grafik düzenleri, gösterge şablonları, vektör çizimler ve Terminal modunda sürükle-bırak widget'larıyla oluşturulan çalışma alanları. Backend servisleri bu tercihleri, birkaç kilobayttan birkaç megabayta kadar değişen, çoğunlukla JSON olan opak blob'lar olarak saklıyor. Zerodha'ya göre depo, standart donanımda gecikmeyi tek haneli milisaniyelerde tutarken, saniyede binlerce ila on binlerce blob işlemi sürdürebiliyor. Trafik hisse piyasası aktivitesini izlediği için ani yükselişler yaşanan ve öngörülmesi zor bir yapıda.\n
CouchDB'den SSDB'ye ve sıfırdan yazmaya
Blob'lar başlangıçta CouchDB'de tutuluyordu; ancak aktarım hızı arttıkça sistem yetişmekte zorlandı. Zerodha bunun üzerine C++ ile yazılmış, tesadüfen Redis protokolüyle konuşan disk tabanlı bir depo olan SSDB'ye geçti. SSDB yıllarca production'da güvenilir şekilde çalıştı; ancak iki sorun yerini almasını zorunlu kıldı: proje bakımsız hale geldi ve C++ ekibin uzmanlık alanı dışında olduğundan fork etmek gerçekçi değildi. Ayrıca SSDB tek düğümlü bir sistemdir ve sınırları bir noktada, büyük payload'larda gecikmenin kötüleşmesi nedeniyle blob boyutlarına 1 MB'lık bir üst sınır koymayı gerektirdi.
Halefinde aranan gereksinimler ise basit bir key-value API'si, yüksek aktarım hızında çok megabaytlık blob desteği, yatay ölçeklenebilirlik, sıkıştırma ve düşük operasyon maliyetiydi.
Bilinen çözümler neden yetersiz kaldı
Zerodha uzun bir aday listesini değerlendirdi ve blog yazısı her birinin neden reddedildiğini açıklıyor. Şirketin stack'inde halihazırda bulunan ScyllaDB, büyük blob'larda belirgin şekilde daha düşük aktarım hızı ve daha yüksek kaynak kullanımı gösterdi; ayrıca sık üzerine yazma ve TTL süre bitimlerinden kaynaklanan tombstone ayar sorunları yaşattı. Blob'ların BYTEA sütunları olarak test edildiği PostgreSQL hem hız hem de disk verimliliği açısından kötü performans gösterdi. YugabyteDB çok büyük bir sistem olarak değerlendirildi ve blob depolamaya odaklı değildi; RocksDB ise doğru yapı taşlarına sahipti ama yüksek aktarım hızında çok megabaytlık yazmalar için tasarlanmamıştı. Ceph'in operasyonel karmaşıklığı nedeniyle ekip test aşamasına bile gelemedi.
SeaweedFS en yakını kaldı; ancak iş yükü yoğun şekilde üzerine yazmaya dayanıyor ve SeaweedFS yeni sürümleri önce ekleyip sonra compaction yapıyor, bu da disk kullanımını kontrolsüz biçimde büyütebiliyor. Ayrıca blob başına TTL desteği yoktu ve blob ID'lerini kullanıcı anahtarlarına eşlemek için ayrı bir veritabanı gerektiriyordu. S3 ve MinIO, saniyede binlerce işlem seviyesinde istek başına gecikme ve maliyet sorunları taşıyordu — yazmalar trafiğin yarısını oluşturuyor — ve lifecycle tabanlı kaba bir süre bitimi mekanizması sunuyordu. Her blob için bir dosya kullanan ham dosya sistemi yaklaşımı ise atomik yazma, batching, TTL indeksleri ve metadata yönetimini sıfırdan inşa etmek anlamına gelirdi.
Neden SQLite ve Rust
Ekibi SQLite'a iten iki şey oldu: başka bir proje için SQLite ile yapılan deneyler ve SQLite'ın doğrudan dosya sistemi G/Ç'sinden %35'e kadar daha hızlı olabileceğine dair kendi açıklaması. Ham dosyalar kabaca 100 KiB üzerinde SQLite'ı geçiyor; ancak Zerodha blob'ları yazmadan önce sıkıştırıyor ve sıkıştırılmış değerlerin %99'u bu eşiğin altında kalıyor. SQLite ayrıca ACID transaction'lar, çökme kurtarma ve standart araçlar getirdi — diskteki herhangi bir shard, sqlite3 CLI ile incelenebilir veya düz SQL ile sorgulanabilir.
Dayanıklılık bilinçli olarak gevşetilmiş durumda: depo finansal kayıtları değil, arayüz tercihlerini tutuyor; dolayısıyla bir elektrik kesintisi sonrası kaybolan bir yazma, kullanıcıya bir işlem değil, yalnızca bir grafik ayarı kaybettirir.
Rust, Go yerine tercih edildi; çünkü Go'nun SQLite bağlantıları CGo'ya bağlı ve bu, statik build'leri karmaşıklaştırıyor, C çağrıları sırasında OS thread'lerini sabitliyor ve çok megabaytlık buffer'ları ayırıp sıkıştırırken garbage collection baskısı ekliyor. Rusqlite ve tokio gibi Rust crate'lerini kullanan Blobasaur, SQLite'ın C API'sini öngörülebilir bellek kullanımıyla doğrudan çağırıyor.
SQLite'ın yazma modelinin etrafında shard'lamak
Redis protokol uyumluluğu katı bir gereksinimdi; çünkü mevcut Go ve Python servisleri GET, SET, HGET, HSET, DEL ve EXPIRE gibi standart Redis komutlarını zaten kullanıyordu. Doğrudan yedek bir çözüm, istemci tarafında hiçbir değişiklik gerektirmemesi anlamına geliyordu. Depolama tarafında ise WAL modundaki SQLite çok sayıda eşzamanlı okuyucuya izin veriyor ama veritabanı başına aynı anda yalnızca bir yazıcıya izin veriyor — yazmalar Zerodha trafiğinin yaklaşık yarısı olduğundan ciddi bir kısıt. Blobasaur bu nedenle veriyi birden fazla makineye yayılan shard'lara bölüyor; böylece tek bir düğüm veya veritabanı dosyası darboğaz haline gelmiyor.
Neden önemli
Blobasaur, SQLite'ın sunucu sınıfı bir motor olarak sessizce geri dönüşünün güçlü bir kanıtı. İyi sınırlanmış bir iş yükü için — key-value blob'lar, TTL ile basit CRUD işlemleri, gevşetilmiş dayanıklılık — ucuz donanım üzerindeki gömülü veritabanlarının shard'lanmış bir düzeni, amaca yönelik tasarlanmış dağıtık depoları maliyet, basitlik ve hız açısından geride bıraktı. Redis kablo protokolü, mevcut servisler için benimsemeyi neredeyse bedava kılıyor. Ve bu tasarım, doğru boyutlandırmanın yararlı bir vaka çalışması: Zerodha'nın consensus tabanlı dağıtık bir veritabanına değil, hızlı ve elden çıkarılabilir bir depoya ihtiyacı vardı; aracı bu gerçeğe uydurmak, tek bir ekibin işletebileceği tek binary'lik bir sistem üretti.
- #sqlite
- #rust
- #open-source
- #blob-storage
- #distributed-systems