Rivet, S3 destekli actor orkestratörünü açık kaynak yaptı: p99 cold start süresi 5 ms altında

Rivet, agent'lar için S3 destekli bir orkestratörü açık kaynak yaptı

Y Combinator Kış 2023 dönemi şirketi Rivet, agent orkestratörünü Apache 2.0 lisansıyla açık kaynak olarak yayınladı. Projenin Hacker News'teki duyuru yazısına ve GitHub README'sine göre Rivet, actor modeli üzerine inşa edilmiş: her actor, bellek içi duruma (state), özel bir SQLite veritabanına, gerçek zamanlı güncellemeler için WebSocket desteğine ve kendi zamanlamasına (scheduling) sahip uzun ömürlü bir süreç. Actor'lar anahtarla adreslenir; böylece geliştiriciler her agent, oturum, kullanıcı veya tenant için bir actor oluşturabilir ve bunu sıradan bir Node.js, Bun veya Rust üzerinde çalıştırabilir.

Performans iddiaları

Lansman birkaç rakama dayanıyor. Rivet, 4,99 ms p99 cold start ve actor başına 72,4 KB bellek değeri bildiriyor; bu, actor'ların her biri bir sandbox başlatmak yerine tek bir node sürecini paylaştığı için mümkün oluyor; şirket, tek bir sunucunun yüz binlerce actor barındırabileceğini söylüyor. Şirketin karşılaştırma tablosu, sandbox yaklaşımını 1,70 saniye p99 cold start ve instance başına 512 MiB bellek ile eşleştiriyor; bu rakamları Rivet, üçüncü taraf bir cold start benchmark'ından ve belgelenmiş bir varsayılan tahsisten alıyor.

Her actor'ın SQLite veritabanı S3'te kalıcı hale getiriliyor. README, bu kurulumla 1,07 ms p99 dayanıklı yazma ve 1,36 ms p99 okuma değerleri iddia ediyor; bu, kopyalanmış SSD depolamadan yaklaşık 10,4 kat daha ucuz — S3 Standart liste fiyatlarının üç Amazon EBS gp3 kopyasıyla karşılaştırılmasına dayanan bir hesap. Bunlar şirketin kendi ölçümleri; Rivet 3.0.3 ile, yayınladığı benchmark'ta Cloudflare Durable Objects'e karşı üretilmiş. Depoda, sonuçları yeniden üretmek için ham örnek veriler ve scriptler de yer alıyor. Boşta olan actor'lar hibernate moduna geçer, uyurken hiçbir maliyet oluşturmaz ve bir sonraki istekte durumlarını koruyarak devam eder.

Tek bağımlılık olarak S3

Rivet, Postgres, FoundationDB veya NATS gerektirmiyor. README'ye göre tek bağımlılık bir object storage bucket'ı: işletilecek ayrı bir veritabanı ya da mesaj veriyolu yok ve control plane instance'ları birbirlerini bucket üzerinden buluyor. Amazon S3'ün yanı sıra depolama katmanı, Google Cloud Storage, Azure Blob Storage ve MinIO, Cloudflare R2, Hetzner Object Storage gibi S3 uyumlu depolarla çalışıyor. Bir node arıza yaparsa, actor'ları durumlarını da yanlarında taşıyarak başka yerlere göç eder.

Hedefte Durable Objects var

Rivet, kendisini Cloudflare Durable Objects'in self-host edilebilir, açık kaynaklı bir alternatifi olarak konumlandırıyor ve o ürünün birkaç kısıtlamasını ortadan kaldırdığını söylüyor: 128 MB bellek sınırı yok, 10 GB SQLite sınırının ötesinde depolama, rastgele tahliye (eviction) yok ve özel bir V8 derlemesi yerine standart runtime'lar. Actor çekirdeğinin üzerine dayanıklı cron ve zamanlama, olay yayını (event broadcasting), küme genelinde actor'dan actor'a çağrılar, OpenTelemetry izleri (trace), React hook'larıyla tipli istemciler ve Vitest desteği ekliyor.

Bir agent'ın yazdığı kod için Rivet, agentOS ile geliyor; agentOS, üretilen kodu ağ erişimi, dosya sistemi erişimi ve kaynak limitleri üzerinde ayrıntılı kontrollerle çalıştırıyor. Bir Dynamic Apps önizlemesi daha da ileri giderek, oluşturulduğu anda kullanıcı başına üretilmiş bir backend deploy ediyor ve kullanılmadığında sıfıra ölçekleniyor.

Dağıtım seçenekleri

Aynı control plane hem yerelde hem üretimde çalışıyor. Rivet; Docker Compose, Kubernetes, VM'ler ve bare metal üzerinde self-host edilebiliyor; Hetzner, Railway, Render ve AWS ECS için rehberler mevcut. Rivet Cloud, herhangi bir bölgede AWS veya GCP üzerinde tamamen yönetilen dedicated kümler sunuyor; bring-your-own-cloud seçeneği ise control plane'i bir müşterinin AWS, GCP veya Azure üzerindeki VPC'sinde, air-gapped ortamlar dahil çalıştırıyor.

Neden önemli

Agent'lar durumlu (stateful) iş yükleridir: bellek, konuşma geçmişi ve yeniden başlatmalardan sağ çıkması gereken oturum bağlamı biriktirirler. Her birine VM ya da container vermek bu durumu pahalı hale getirir; çünkü boştaki agent'lar hâlâ bellek işgal eder ve cold start'lar hâlâ saniyeler alır. Rivet'in bahsi, buluttaki en ucuz dayanıklı katman olan object storage'ın, agent başına durumu tek haneli milisaniye gecikmesiyle destekleyebilmesi ve hibernate modunun boşta maliyeti ortadan kaldırması yönünde; bu, kod yazan agent filolarını veya kullanıcı başına üretilmiş backend'leri çalıştırmanın ekonomisini değiştirirdi. Açık soru bağımsızlık: öne çıkan rakamlar satıcı benchmark'ları, ancak metodoloji ve tekrar üretim scriptleri herkese açık. Durable Objects çerçevesi ayrıca rekabetin nerede olduğunu da gösteriyor; çünkü Cloudflare bu desenin önemli bir kısmını zaten yönetilen bir hizmet olarak satıyor ve Rivet, maliyet, yoğunluk ve kontrol konusunda kazanabileceğini savunuyor.