deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak Hacker News – Front Page (native)

Açık 27B model kendi ağırlıklarını yeniden yazıyor ve eğitim olmadan kendini geliştiriyor

arXiv'de yayımlanan bir ön baskı, yalnızca akıl yürütme yoluyla kendi ağırlıklarını düzenleyen açık bir 27B modeli tanımlıyor; model hiçbir eğitim çalışması olmadan daha önce görmediği problemlerde 6,6 doğruluk puanı kazanıyor.

Açık 27B model kendi ağırlıklarını yeniden yazıyor ve eğitim olmadan kendini geliştiriyor

Bulgular

arXiv'e yüklenen bir ön baskı, yazarlarının inancına göre bir dil modelinin gradyan kullanmadan ve eğitim çalışması olmadan, doğrudan kendi ağırlıklarını yeniden yazarak kendini geliştirmesinin ilk gösterimi olduğunu iddia ediyor. 16 Kasım'da gönderilen ve 18 Kasım'da revize edilen makale, bu hafta Hacker News ana sayfasına ulaştı.

Jiajun Fan öncülüğündeki bir ekip olan yazarlar bu tekniğe "self-rewriting" (kendi kendini yeniden yazma) adını veriyor; yani model fiilen kendi optimizer'ı olarak işlev görüyor. Konu olan model, açık kaynaklı, 27 milyar parametreli bir model. Makaleye göre, model kendi ağırlıklarına, puanlanmış cevaplarına ve kendini çalıştırma yeteneğine erişim verildiğinde, bir problemi neden yanlış çözdüğünü teşhis edebiliyor ve ardından hatadan sorumlu ağırlıkları düzenleyebiliyor. Yazarlar, modelin kendi düzenlemesinin, daha önce hiç karşılaşmadığı problemlerde doğruluğu 6,6 puan artırdığını bildiriyor.

Bu çalışma, daha önce bir frontier modelin çok daha küçük bir modeli düzenlediği araştırmaya dayanıyor. Buradaki fark, tek bir açık modelin hem teşhisi hem de kendi üzerinde yapılan "ameliyatı" gerçekleştirmesi.

İterasyon ve kendini onarma

Süreç tek seferlik bir yama değil. Özet, modelin aday düzenlemeleri alıştırma problemleri üzerinde test ettiğini ve yalnızca yardımcı olanları koruduğunu, kabul edilen her düzenlemenin öncekinin üzerine inşa edildiğini açıklıyor. Yazarlar, ardışık sekiz oturum boyunca doğruluğun yalnızca yükseldiğini bildiriyor.

Daha çarpıcı gösterim ise kendini onarma. Araştırmacılar modelin bir kopyasını neredeyse hiçbir şeyi çözemeyecek kadar ağır hasar verdiler. Herhangi bir yeniden eğitim olmadan ve orijinal ağırlıkları hiç görmeden model, bozuk kopyayı, hiç görmediği görüntü görevlerinde orijinal doğruluğunun yüzde 80'inden fazlasına geri getirdi. Yazarlar bunu, yeniden inşa edilen rather than bir makinenin kendini onarmasına benzetiyor.

Yeteneğin ölçeğe bağlı göründüğü de anlaşılıyor. Makale, tek bir model ailesi içinde daha küçük modellerin ya hiç düzenleme yapmadığını ya da kendilerini aktif olarak kötüleştirdiğini; yalnızca en büyük modelin hem geliştiğini hem de kendini onardığını bildiriyor.

Eğitim ve inference arasındaki üçüncü yol

Yazarlar, self-rewriting tekniğini donmuş bir modeli daha iyi hale getirmenin iki standart yolunun arasına yerleştiriyor. Test zamanı teknikleri — prompt'lar, harness'ler, sorgu başına ek hesaplama — doğruluğu yükseltebilir, ancak kazanım görev bittiğinde kaybolur ve her cevaba maliyet ekler. Eğitim ise gradyan güncellemeleri ve ayrılmış hesaplama gücü gerektirir.

Yazarların anlatımına göre self-rewriting ikisinin avantajlarını birleştiriyor: gelişim ağırlıklara yazılıyor, böylece sonraki cevaplar öncesinden daha pahalıya mal olmuyor ve süreç, sıradan model servisinde olduğu gibi yalnızca forward pass'lerden oluşuyor. Makale, eğitim ile inference arasındaki sert sınırın zekânın temel bir özelliğinden ziyade mevcut araçların sınırlarını yansıttığını savunuyor ve self-rewriting'i özyinelemeli kendini geliştirme yönünde bir adım olarak çerçeveliyor: daha büyük bir öğretmene, iskelet harness'e veya prompt mühendisliğine ihtiyaç duymadan kendini sürekli yükselten bir model.

Doğrulanmamış olanlar

Yukarıdaki iddialar bir ön baskı özetinden geliyor ve henüz hakem incelemesinden geçmedi. Özet, ağırlık düzenlemelerinin nasıl uygulandığını, doğruluk rakamlarını üreten benchmark'ların hangileri olduğunu, bozuk kopyanın nasıl oluşturulduğunu veya hangi model ailesinin test edildiğini belirtmiyor. Okuyucular, tam makale incelenip tekrarlanana kadar rakamları yazarların kendi bildirimleri olarak değerlendirmeli.

Neden önemli

Sonuçlar doğrulanırsa, AI hattının en pahalı parçası olan eğitim çalışmasını atlayan bir model geliştirme yolu çiziyorlar. Kendi hatalarını teşhis edip yamalayabilen dağıtılmış bir model, yalnızca inference maliyetiyle yerinde uyum sağlayabilir ve ilke gereği kendi bozuk veya yozlaşmış kopyalarını onarabilir.

Bu öngörü çift yönlü işliyor. Kendi ağırlıklarını herhangi bir eğitim veya değerlendirme döngüsü dışında değiştiren kendini geliştiren sistemler, gelişmelerin, hataların ve kötüye kullanımın doğrudan modele yazılacağı göz önüne alındığında bariz gözetim sorularını gündeme getiriyor. Makalenin kendi bulgusu olan, daha küçük modellerin kendilerini bozarken yalnızca en büyüğünün başarılı olması, bu yeteneğin düzensiz biçimde geldiğini ve kontrolünün kolay olmadığını düşündürüyor. Güvenlik tartışmasının teknik tartışmayı yakından takip etmesini bekleyin.

  • #language-models
  • #machine-learning
  • #self-improvement
  • #arxiv
  • #ai-safety

İlgili yazılar