VIDRAFT, 46M parametreli dil modelini tamamen yalnızca çıkarım (inference) yapan NPU'larda ön eğitimden geçirdi

VIDRAFT neyi geliştirdi

NPU hızlandırma yazılımı geliştiren bir şirket olan VIDRAFT, küçük bir dil modelini eğitim sürecinin hiçbir aşamasında GPU kullanmadan, tamamen yalnızca çıkarım (inference) amaçlı nöral işlem birimlerinde (NPU) ön eğittiğini duyurdu. VKORE-46M-NPU adlı model 46 milyon parametreye sahip, önceden eğitilmiş bir checkpoint yerine rastgele ağırlıklarla başlatıldı ve herkese açık bir veri seti üzerinde eğitildi; kısa İngilizce hikâyeler üretebiliyor. 14 Ekim'de ZDNet Korea'da ilk kez aktarılan ve dev.to üzerinde yayımlanan bir yazıya göre model ağırlıkları, bir model kartı ve karşılaştırma materyalleri Hugging Face üzerinde yayımlandı.

Bu yayın, VIDRAFT'ın NPU'lar için CUDA benzeri olarak konumlandırdığı NPU-yerel (NPU-native) yazılım katmanı VKORE için kamuya açık bir doğrulama artifactsı işlevi görüyor. Şirketin açıkladığı yetenek seti, çıkarım hızlandırmayı, artık gösterilmiş olan tam ön eğitimi (pre-training) ve henüz açıklanmış bir zaman çizelgesi olmayan bir yol haritası maddesi olan LoRA ince ayarını (fine-tuning) kapsıyor.

Yalnızca çıkarım yapan NPU'lar neden eğitime dirençli

Mühendislik engeli mimari kaynaklı. Çıkarım NPU'ları forward pass'leri hızlı çalıştırmak için tasarlanır ve GPU tabanlı eğitimin bağımlı olduğu donanım özellikleri — esnek bellek erişimi, yüksek hassasiyetli ara tamponlar, yerinde (in-place) tensor değişimi — bu çiplerde genellikle ya hiç bulunmaz ya da kısıtlıdır. Yalnızca çıkarım için tasarlanmış silikon üreticileri genellikle hiçbir eğitim yığını (training stack) sunmaz.

dev.to yazısına göre VIDRAFT'ın cevabı bir yazılım soyutlaması: VKORE katmanı üzerinden gerçeklenen backpropagation, fiilen NPU'yu eğitimi destekleyen bir alt katmana dönüştürüyor. Şirket bunun, forward-mode differentiation veya evrimsel stratejiler gibi gradyansız bir yaklaşımla değil, standart reverse-mode gradyan hesaplaması olduğunu belirtiyor. Ayrıca model rastgele başlatmayla (random initialization) başladığı için, sonucun mevcut bir model üzerinde yeniden etiketlenmiş bir ince ayar çalışması olarak gözden çıkarılması mümkün değil.

Daha ince uygulama detayları — operator fusion stratejisi, bellek yönetimi, gradyan biriktirme — açıklanmıyor ve VIDRAFT bunların gelecek bir makalede anlatılacağını söylüyor.

Sonucun bir GPU referansıyla karşılaştırılması

Doğruluğu kanıtlamak için VIDRAFT, aynı eğitim işini eşleştirilmiş koşullar altında yüksek performanslı bir GPU üzerinde çalıştırdı ve loss eğrilerinin nasıl geliştiğini karşılaştırdı. NPU çalışması ile GPU çalışması arasındaki bildirilen loss yörüngesi korelasyon katsayısı 0,99.

Şirket, bu sayının ne anlama geldiği ve gelmediği konusunda açık. Bu sayı, eğitim dinamiğinin benzerliğini ölçüyor — NPU çalışmasının GPU referansıyla istatistiksel olarak aynı yol boyunca yakınsayıp yakınsamadığını — throughput veya örnek verimliliğini değil. VIDRAFT, yalnızca çıkarım yapan NPU'ların eğitim iş yükleri için genellikle daha yavaş olduğunu belirtiyor; dolayısıyla bu rakam bir doğruluk sinyali ve NPU üzerindeki gradyan hesaplamasının yaklaşık ya da ıraksak değil, sayısal olarak tutarlı olduğunu gösteriyor.

VIDRAFT ayrıca, genel amaçlı herkese açık modellerin aynı NPU donanımında çıkarım ve kuantize model çalıştırabildiğini doğruladığını söylüyor; bu da VKORE katmanının model yaşam döngüsünün hem eğitim hem de dağıtım taraflarını kapsadığına işaret ediyor.

Neler açık, neler saklı

Kamuya açık yayın; eğitilmiş ağırlıkları, model kartını ve Hugging Face üzerindeki GPU-NPU karşılaştırma materyallerini kapsıyor. Çekirdek eğitim kodu fikri mülkiyet koruması gerekçesiyle saklanıyor, bu model için herkese açık bir API endpoint yok ve yığın henüz başkalarının kendi NPU donanımlarında eğitim yapması için kullanılamıyor. dev.to yazısı ayrıca, indirme komutlarını çalıştırmadan önce tam depo adının (repository slug) VIDRAFT'ın Hugging Face sayfasından doğrulanması gerektiği konusunda uyarıyor.

Neden önemli

İddialar doğrulanırsa, bu backpropagation'ın yalnızca çıkarım için tasarlanmış silikon üzerinde çalışabileceğine dair işler bir gösterim ve eğitimin GPU'lar veya eğitim yeteneğine sahip hızlandırıcılar gerektirdiği varsayımına meydan okuyor. NPU'lar halihazırda muazzam hacimlerde sevkiyat ediliyor — telefonlar, dizüstü bilgisayarlar, edge cihazları — ve bugün çıkarım dışında pek bir şey yapmıyorlar. Kurulu bu tabanın herhangi bir kısmını eğitilebilir donanıma dönüştürecek bir yazılım katmanı, eğitim kendisi daha yavaş olsa bile GPU'suz eğitim yolları açar ve kıt, pahalı GPU kapasitesine bağımlılığı azaltır.

Uyarılar da büyük: model 46 milyon parametreyle çok küçük, hiçbir throughput rakamı verilmiyor, uygulama tescilli (proprietary) ve çalışma bağımsız bir değerlendirme ya da hakemli bir makale yerine basın açıklamasıyla şirket tarafından aktarıldı. Vaat edilen teknik makale ve varsa bağımsız bir tekrarlama, bunun gerçek bir eğitim yeteneği mi yoksa iyi paketlenmiş bir gösterim mi olduğuna karar verecek. Şimdilik, yayımlanan ağırlıklar mühendislere incelenecek somut bir şey veriyor.