Fog-Bank, dünyanın en eski webcam yayınının her karesini saklıyor

Proje ne yapıyor

Bir Hacker News gönderisinde hâlâ yayınlanan en eski webcam yayını olarak tanımlanan FogCam, görüntülerini arkasında hiçbir geçmiş bırakmayacak bir şekilde sunuyor: Bir defasında tek bir fotoğraf yayınlanıyor ve bir sonraki geldiği an replaced ediliyor. Fog-Bank adlı bir proje tüm bunları saklama işini üstlendi. fog-bank.org'daki yazıya göre arşiv kameranın ürettiği her kareyi yakalıyor ve aynı kadar bilinçli bir şekilde yol boyunca yaşanan her arızayı da kaydediyor: Bir boşluk ne zaman açıldı, ne kadar sürdü ve suçun arşivin kendi altyapısında mı yoksa FogCam'in kendisinde mi olduğu.

Dört toplayıcı, üç ağ

Alım tarafı tek bir sağlamlaştırılmış poller yerine bağımsızlık üzerine kurulu. Üç ayrı ağda dört toplayıcı çalışıyor ve her biri kendi programına göre FogCam'den güncel görüntüyü istiyor: Operatörün kendi sunucusunda 7 saniyede bir çalışan bir poller, Cloudflare üzerinde 15 saniyede bir çalışan ve ayrıca 30 günlük bir tampon tutan fogline adlı bir bileşen, 20 saniyede bir çalışan ve doğrudan kalıcı depolamaya yazan bir Cloudflare worker ve operatörün evindeki bir makine, yine 15 saniyede bir.

Her toplayıcının aldığı her kare arşive push ediliyor. Push işlemleri başarısız olabileceği için mutabakat diğer yönde de çalışıyor: Beş dakikada bir yapılan bir tarama ve gecelik bir iş, push'un kaçırduğu her şeyi geri çekiyor; böylece kaçırılan bir kare kalıcı olarak kaybolmak yerine diğer toplayıcılardan birinden kurtarılabiliyor.

Cache-busting ve kare işleme

İsteklerin kendisi, operatörün Ağustos'ta karşılaştığı gerçek bir soruna karşı ayarlandı: FogCam'in web sunucusu dakikalar önceye ait önbellek kopyaları sunuyordu. Artık her istek, kaynağa gerçekten güncel dosyayı vermeye zorlamak için benzersiz bir sorgu dizesi ve no-cache başlıkları taşıyor.

Yakalandıktan sonra bir kare tanımlı bir işlemden geçiyor. FogCam'in kendi yükleme zamanı kullanılarak adlandırılıyor, SHA-256 ile parmak izi çıkarılıyor ve görüntü verisini yeniden sıkıştırmadan açıklamalarla etiketleniyor. Ardından kayıpsız JPEG XL olarak depolanıyor ve yakalandığı dakika içinde Cloudflare R2'ye kopyalanıyor.

Kesintilerin kamuya açık defteri

Bir durum panosu, birkaç dakikada bir, kameranın kendisinden yayın'ın YouTube çıktısına kadar hattın her aşamasını yokluyor ve herhangi bir aşama durduğu anda operatöre bir Telegram mesajı gönderiyor.

Proje ayrıca kesinti geçmişini sıralı olarak yayınlıyor ve her olay FogCam'e ya da arşive ait olarak etiketleniyor. Şimdiye kadarki kayıtlar arasında 13 Ağustos'taki FogCam sunucu kesintisi, 8-10 Eylül arasında FogCam tarafındaki 64 saatlik bir donma ve — aynı donmanın içinde — dolu bir disk nedeniyle operatörün kendi sunucusunun 40 saatlik kesintisi yer alıyor.

Neden önemli

Web'in büyük bölümü tasarımı gereği geçicidir ve yalnızca en son kareyi gösteren bir webcam bunun uç bir örneğidir: Üçüncü bir taraf devreye girmezse, yayın'ın tüm geçmişi kare kare buharlaşır. Fog-Bank, saklanmaya değer kadar eski bir internet tarihine uygulanmış bu müdahalenin küçük ve somut bir örneği.

Tasarım, güvenilir olmayan ya da iş birliği yapmayan bir kaynağı arşivleyen herkes için aktarılabilir bir şablon. Temel hamleleri — farklı ağlarda birden çok bağımsız toplayıcı, push artı periyodik pull mutabakatı, cache-busting istek başlıkları, SHA-256 hash yoluyla içerik adresli dosyalar, kayıpsız dönüştürme ve anında başka bir konuma kopyalama — tam olarak sağlam bir alım hattının ihtiyaç duyduğu desenlerdir ve her biri yazıda operatörün karşılaştığı gerçek bir arızayla gerekçelendirilmiştir.

Kesinti defteri en ayırt edici kısım. Başka birinin hizmetine bağlıysanız, herhangi bir boşluktan sonra acil soru hangi tarafın bozulduğu. Her iki ucu da ölçeklendirip atfı yayınlayarak proje kendi güvenilirliğini doğrulanabilir bir kamusal kayda dönüştürüyor — arşivin güvenilirliği için iyi, kendi başına da pratik sistem yazıcılığının şık bir örneği.