· kaynak dev.to (home feed)
DepthGraft: hiyerarşik KV paylaşımı transformer belleğini yaklaşık üçte bir oranında azaltıyor
dev.to'da yayımlanan bir yazı, derin transformer katmalarının daha önceki katmanlardan adım hizalı KV cache'lerini yeniden kullanmasına olanak tanıyan DepthGraft'ı ele alıyor; yöntem cache belleğini kabaca üçte bir azaltırken benchmark puanları da iyileşiyor.

Derinlikte paylaşılan bir cache
dev.to'da yayımlanan bir yazı, bir transformer'ın key-value cache'ini nerede tuttuğunu değiştiren "DepthGraft: Structural Regularization through Hierarchical Cross-Layer KV Reconstruction" başlıklı makaleden çıkan DepthGraft mimarisine ışık tutuyor. Çıkarım sırasında her katmanın kendi KV girdilerini oluşturup saklaması yerine, sonraki katmanlar konumları sabit bir adım boyunca hizalanan seçili önceki katmanların hesapladığı çiftleri yeniden kullanıyor. dev.to makalesine göre bu, KV cache boyutunu yaklaşık üçte bir oranında azaltıyor; bu düşüş o kadar büyük ki, derin modeller orta seviye GPU'lara rahatça sığıabiliyor.
Paylaşım düz değil hiyerarşik. Derin aşamadaki sorgular, ağın sığ-orta bölgesinde bulunan ve adım hizasına göre dizilmiş kaynaklardan yeniden oluşturuluyor; böylece model derinliğinin büyük bir bölümü için bağımsız depolama ortadan kalkıyor. Makalede aktarılan iddialara göre tasarım, eğitim sırasında gradyanları bu kaynak katmanlara da yayıyor ve prefill aşamasının erken tamamlanmasına olanak tanıyor.
Önceki paylaşım şemaları neden yetersiz kaldı
Makale, katmanlar arası bağlantılılığın yeni olmadığını ama önceki girişimlerin çoğunlukla mimari merak konusu olarak görüldüğünü belirtiyor. Komşu katman paylaşımı ve global-çapa tasarımları mevcut, ancak bunlar matris çarpımları ya da ek bellek erişimleri eklerken key ve value geometrisini sistematik biçimde düzenleyecek ya da cache'i anlamlı şekilde küçültecek bir yol sunmuyor. Pratik sonuç, mühendislerin yüksek bellek kullanımını derin modelleri çalıştırmanın kaçınılmaz bedeli olarak görmeye başlaması oldu.
Bildirilen sayılar
İddia edilen sıkıştırma kaliteden ödün vermiyor. Makale, 16 milyar parametrelik bir Mixture-of-Experts modelinde MMLU-Pro'da mutlak yüzde 7.0'lık bir iyileşme, bunun yanı sıra CMMLU'da yüzde 6.6 ve C3'te yüzde 6.4'lük kazanımlar raporluyor. 0.5 milyardan birkaç milyar parametreye kadar yoğun (dense) modellerde de benzer iyileşmelerin görüldüğü bildiriliyor. Yazar bunu, hiyerarşik yeniden kullanımın key'lerin ilgili içeriği almasını iyileştirirken value'lara daha zengin bir temsil kazandırdığına, ikisini de kötüleştirmek yerine, dair bir kanıt olarak okuyor.
Kanıtlanmamış olan noktalar
Makale birkaç açık soruya da işaret ediyor. 16 milyar parametrenin ötesine ölçeklenme henüz test edilmedi ve değerlendirilen en uzun bağlam 128K token olduğundan çok daha uzun dizilerdeki davranış bilinmiyor. Adım hizalı topoloji düzenli bir transformer yığını varsıyor; katman derinlikleri uyumsuz ya da düzensiz modeller özel mühendislik gerektirebilir. Son olarak, token başına ek yük yüzde birin altında kalsa da gecikmeye duyarlı dağıtımların ek yeniden yapılandırma adımını profillemesi tavsiye ediliyor.
Neden önemli
KV cache, uzun bağlamlı çıkarımın pahalı donanım gerektirmesinin başlıca nedenlerinden biri. Belleğin kabaca üçte birini kaldırırken benchmark'ları iyileştiren bir yöntem hesaplamayı değiştiriyor: mevcut bir bellek bütçesi içinde bir servis, yeni GPU satın almadan daha büyük bir model çalıştırabilir, daha uzun bir bağlam tutabilir ya da eşzamanlı olarak daha fazla isteğe yanıt verebilir. dev.to'daki yazar, daha önce bellekle sınırlanan benchmark'ların (örneğin tek bir A100'de MMLU-Pro çalıştırmalarının) DepthGraft etkinleştirilerek yeniden koşulmasını ve paylaşımlı cache'lerin üretimde varsayılan seçenek hâline gelebileceğini önecek kadar ileri gidiyor. Bunlar tek bir yazıdan derlenen erken döneme ait iddialar; bağımsız doğrulama önemli olacak, ama iddialar tutarsa bellek artık model derinliği ve bağlam uzunluğu üzerindeki katı kısıt olmaktan çıkıyor.
- #transformers
- #kv-cache
- #inference
- #memory-optimization
- #llm
İlgili yazılar
- Cerebras, GPU'ları Wafer Scale Engine'leriyle eşleştirerek megawatt başına beş kat daha fazla token üretiyor
- Geliştirici, yerel GPU modellerini bulut kodlama agent'larıyla birleştiren GitSeed'i Apache 2.0 lisansıyla open source etti
- Microsoft, MAI Cyber 2 Flash'ın güvenlik görevlerinde GPT-6 Astra'yı maliyetin yüzde 2'sinin altında yendiğini iddia ediyor