Yapay zeka çıkarımı, işlem bütçelerinin ötesinde biriken bir depolama faturası üretiyor

Yöneticiler yapay zekanın maliyetini düşünürken genellikle GPU'ları hayal ederler: hızlandırıcı dolabı rafları, devasa güç tüketimi ve silikon için bekleme listeleri. MIT Technology Review'da yayımlanan — medya kuruluşunun kendi editörleri değil, depolama üreticisi WD tarafından hazırlanan — bir analiz, bu tablonun sessizce biriken bir maliyeti gözden kaçırdığını savunuyor: çıkarımın ürettiği her şeyi depolamak.

Eğitim emekli olur; çıkarım asla

Yapay zeka altyapısı planlaması geleneksel olarak eğitim üzerine kuruludur ve eğitim sınırlı bir süreçtir. Bir eğitim çalışması başlar, işlem gücünü tüketir ve biter; dolayısıyla herhangi bir proje gibi kapsamlandırılabilir ve emekliye ayrılabilir. Çıkarım farklı davranır: model bir prompt'a yanıt verdiği her an kesintisiz çalışır ve her istek arkada kalıntı bırakır. Yazıya göre, günlük milyarlarca prompt, görsel ve videodan oluşan bu arka uç verisi, planlanması en zor altyapı maliyetleri arasındadır ve ilk yapay zeka bütçelemesinde rutin olarak gözden kaçar.

Nesil başına 130 kat veri çarpanı

Öne çıkan sayı WD'nin kendi ölçümlerinden geliyor. Kullanıcıya 3.97MB'lık bir 720p dosya olarak teslim edilen sekiz saniyelik, yapay zeka tarafından üretilmiş bir video, arka uçta 500MB'dan fazla ilişkili veri bıraktı: loglar, önbelleğe alınmış bağlam, ara render'lar, yedekler ve güvenlik kayıtları. Bu, kullanıcının gerçekte aldığı boyutun kabaca 130 katı — ve kurumsal ölçekte (daha uzun klipler, daha yüksek çözünürlükler) yazı, video başına arka uç ayak izini yüzlerce gigabayt olarak veriyor.

Talep tarafındaki projeksiyonlar da aynı yönü gösteriyor. Yazıda anılan McKinsey, yapay zeka çıkarım talebinin 2030'a kadar yıllık %35 bileşik oranla büyümesini bekliyor; bu oran eğitim için %22. On yılın sonunda çıkarım, toplam veri merkezi talebinin %40'ından fazlasını oluşturacak. 763 BT ve iş karar vericisiyle yapılan, WD sponsorluğundaki IDC teknik raporünde katılımcıların neredeyse %95'i geçtiğimiz yıl üretken yapay zekadan kaynaklanan veri hacmi artışı bildirdi; yaklaşık %61'i ise %25 veya daha fazla büyüme gördü.

Depolama bir GPU kullanım sorunu

Yazı, yavaş depolamayı yalnızca bir kapasite sorunu değil, aynı zamanda bir işlem maliyeti olarak çerçeveliyor. Raporda alıntılanan bir hyperscale cloud sağlayıcısında kıdemli ürün yöneticisi şöyle diyor: "En büyük zorluk, GPU'ların verinin gelmesini bekleyerek boşta kalmamasını sağlamak — saatlerce süren GPU boşta kalma süresi çok hızlı bir şekilde çok pahalı hale geliyor." Veri yüklenirken duran bir model, GPU eksikliğinden dolayı boşta bekleyen bir modelle kabaca aynı maliyete yol açar; ancak darboğaz görünmezde kalır, çünkü kendini hızlandırıcıların yanındaki bir sermaye kalemi olarak değil, işletme giderleri ve erişim gecikmeleri olarak gösterir.

Arşivler aktif girdilere dönüşüyor

İşlem talebi eğitim döngüleri ve ürün lansmanlarıyla birlikte artıp azalır; ama elde tutulan veri, talep düştüğünde geri küçülmez. Model logları, sentetik çıktılar ve çıkarım sonuçları birikmeye devam eder — ve rolleri değişir, çünkü bir zamanlar arşivlerde el değmeden duran materyal artık gelecekteki yapay zeka iş yüklerine girdi olarak hizmet edebilir. IDC anketinde katılımcıların %96'sı, çıkarımı veya retrieval-augmented generation'ı desteklemek için daha hızlı arşiv erişimine ihtiyaç duyacaklarını söyledi. Bir sabit disk üreticisi için tahmin edilebileceği gibi WD, gigabayt başına maliyet avantajıyla HDD'lerin bu sıcak, ılık ve soğuk katmanlar için doğru temel olduğunu, daha hızlı katmanların ise anında erişilen verilere ayrılması gerektiğini savunuyor.

Neden önemli

İki uyarıyı açıkça belirtmekte fayda var: yazı sponsorlu bir içerik ve merkezindeki ölçüm, kuruluşların ihtiyaç duyacağını söylediği depolamayı satan WD'nin kendisinden geliyor. Bu çerçeve satıcının işine yarıyor.

Yine de, temeldeki mekanizma benimseyenler için meşru bir bütçeleme kaygısı. İşlem maliyetleri büyük ölçüde öngörülebilir — finanstown modelleyebileceği, nesil başına veya sorgu başına bir oran. Depolama maliyetleri ise değil: üretülen her video ve işlenen her belgeyle birikirler, çünkü görev bittiğinde bu arka uç verilerinin hiçbiri kaybolmaz. Depolamayı işlem gücünün yanında yuvarlama hatası olarak gören bir ekip, 12 ila 18 ay içinde, yönetimin genişletme kararı vermeye çalıştığı tam o dönemde, depolamanın toplam program maliyetinin önemli bir kesrine ulaştığını görebilir.

Yazı, çoğu kuruluşun görünüşe göre kendinden emin biçimde yanıtlayamadığı üç soruyla kapanıyor: yapay zeka tarafından üretilen içeriğin saklama politikası nedir ve sahibi kimdir; depolama satın alımı, eğitim dönemi performansı yerine üretilen verinin gerçek yaşam döngüsünü izliyor mu; ve gelecek yıl yapay zeka kullanımı iki katına çıkarsa depolama maliyetleri yalnızca iki katına mı çıkar — yoksa daha kötüsü mü olur.