Ağırlık uzayı programlama: LLM'lerin kendi ağırlıklarını düzenleyebildiği iddiasının içinde

İddia

dev.to üzerindeki bir yazı, büyük dil modellerinin kendi sinir ağı ağırlıklarını yalnızca eğitim yoluyla değişen yapılar değil, okunup yazılabilir veriler olarak görmeye başladığını savunuyor. Yazı iki kaynağa dayanıyor: Swyx'in Latent Space AI News özetinde "LLM'ler sinir ağı ağırlıklarını okuyup yazabilir" başlıklı bir bölüm ve Sebastian Raschka'nın akıl yürütme modellerinin nasıl inşa edilip post-training edildiğine dair yazıları.

Ciddiye alınmaya değer olan iddia daha dar kapsamlı olanı: modellerin checkpoint dosyalarını incelemesi, seçilen ağırlık matrislerine script ile düzenlemeler uygulaması ve sonuçları otomatik bir döngüde değerlendirmesi — yazının "weight space programming" adını verdiği bir uygulama. Atıf yapılan Latent Space kapsamına göre bu, özyinelemeli kendini geliştirmenin dışsal "autoresearch" aşamasını ortadan kaldırırdı; şu anda bu aşamada bir agent kod yazar, bir eğitim işi başlatır, loss değerini ölçer ve ortaya çıkan checkpoint'i tutup tutmayacağına karar verir.

Yazı ayrıca dramatize edilmiş bir sahneyle açılıyor: çalışan bir modelin saat 02:14'te VRAM'deki kendi ağırlıkları üzerinde canlı düzenlemeler yapması ve tek bir bellek işlemiyle tüm tool-use katmanlarını atlaması. Atıf yapılan materyallerin hiçbiri bunu belgelemiyor. Gerçekte tanımlanan her iş akışı, kendi canlı parametrelerini değiştiren bir model değil, dış script'ler aracılığıyla checkpoint dosyaları üzerinde çalışıyor. Canlı çerçeveleme kanıt değil, illüstrasyon olarak okunuyor.

Teknik nasıl tarif ediliyor

Açıklama bir yeniden çerçevelemeyle başlıyor: bir modelin parametreleri statik kod değil, devasa bir uzayda koordinatlardır; dolayısıyla yedi milyar parametreli bir model, yedi milyar boyutlu uzaydaki bir noktaya karşılık gelir ve yakındaki noktalar biraz farklı davranışları temsil eder. Klasik eğitim, hatayı azaltacak şekilde yokuş aşağı yavaşça yürüyen gradient descent'tir; ağırlık uzayı manipülasyonu ise bu manzarada doğrudan vektör aritmetiği olarak tarif ediliyor.

Verilen somut örnek şöyle: bir fine-tune edilmiş model kod yazmada, bir diğeri mantıksal çıkarımda güçlüyse, birincisinden base modelin ağırlıklarını çıkarıp bir "kodlama vektörü" izole edebilir ve bunu ikinciye ekleyebilirsiniz. Bu, yetkinlik deltalarının çıkarılıp aritmetik olarak yeniden birleştirildiği yerleşik task-vector ve model-merging teknikleri ailesine benziyor. Yazı, transformer parametrelerinin düzgün geometrik yönler boyunca uzanma eğiliminde olduğunu savunuyor; böyle bir aritmetiğin anlamlı olmasını sağlayacak şey de bu.

Yazının ileri gittiği nokta ise düzenlemeyi kimin yaptığında. Bir mühendisin el yapımı merge'ler oluşturması yerine, yöneten bir LLM düzenlemenin kendisine karar verecek. Yazının hipotetik olarak sunulan, bir sonuç olmayan örnek vakası ise daha kısa yanıtlar isteyen bir modelin bir checkpoint'i yükleyip, belirli key-value attention head'lerindeki girdarlığı kontrol eden ağırlık matrislerini 0.8 katsayısıyla küçültmesi ve değiştirilmiş tensor dosyasını herhangi bir reinforcement learning hattı olmadan dışa aktarması.

Standart uygulamayla karşıtlık Raschka üzerinden kuruluyor: günümüzde post-training, denetimli fine-tuning ile DPO ve PPO gibi reinforcement learning yöntemlerine dayanıyor; bunlar, ağ saatler veya günler boyunca token akışlarını işlerken her katmandan geriye gradient itiyor. Doğrudan ağırlık düzenlemeleri backpropagation'ı tamamen atlayacak, teoride bir uyarlamayı çok GPU'lu bir koşudan tek bir bellek işlemine dönüştürecekti.

Dürüst uyarılar

Yazı kendisi de zor kısımları kabul ediyor. Parametre düzenlemeleri kararsız olabilir, catastrofic forgetting önemli ölçüde büyük her değişikliği tehdit ediyor ve "daha az girdarlı ol" gibi semantik bir niyeti belirli floating-point tensor'lara eşlemek gerçekten zor olmaya devam ediyor. Girdarlık örneği, gerçek modellerin nadiren sunduğu bir parametre uzayı düzenliliğini varsayıyor.

Bir de kaynak sorunu var. Bu, bir bülten haberini ve model eğitimiyle ilgili bir makaleyi aktaran tek bir ikincil yazı; yanında ne bir makale ne de tekrarlanabilir bir gösterim var. Araştırma ilgisinin nereye yöneldiğine dair bir sinyal olarak ilginç; modellerin kendilerini yeniden yazabildiğinin kanıtı olarak ise yok hükmünde.

Neden önemli

LLM'ler ağırlıkları güvenilir biçimde okuyup düzenleyebilseydi — kendi ağırlıklarını ya da başka bir modelinkileri — uyarlamaların ekonomisi değişirdi: şu anda bir fine-tuning koşusu gerektiren yetkinlik değişiklikleri dosya düzenlemelerine dönüşürdü ve özyinelemeli kendini geliştirme döngüsü en yavaş, en pahalı aşamasını yitirirdi.

Ayrıca yazının üstüne gitmediği bir kontrol sorusu doğuruyor. Checkpoint tabanlı düzenleme en azından denetlenebilir ve geri alınabilir; kendi canlı parametrelerini düzenleyen bir modeli izlemek ya da geri döndürmek çok daha zor olurdu. Şimdilik savunulabilir hikâye, manşetin ima ettiğinden daha dar: LLM'lerin ağırlık dosyalarına yeni tür bir veri yapısı olarak yönlendirilmesi. Ama yalnızca bu bile "bir modeli programlamak" ifadesinin anlamını değiştirirdi.