· kaynak Hacker News – Front Page (native)
Enerji Tabanlı Akıl Yürütücüler, Sudoku-Extreme'da 345 kat daha az çıkarım hesaplamasıyla %99,9 doğruluğa ulaştı
Duke, UIUC ve Harvard'tan araştırmacılar, döngüsel akıl yürütme modellerini, gizli durumları puanlayan, iyileştiren ve durmayı kendiliğinden bilen enerji tabanlı modeller olarak yeniden kurguladı; Sudoku-Extreme'da 345 kat daha az çıkarım hesaplamasıyla %99,9 doğruluğa ulaşıldı.

Yerleşik durdurma kuralıyla enerji tabanlı akıl yürütme
Duke Üniversitesi, Illinois Üniversitesi Urbana-Champaign ve Harvard'tan bir araştırma ekibi, Enerji Tabanlı Akıl Yürütücüleri (EBR) tanıttı; bu modeller, bir ağa her gizli akıl yürütme durumu için bir enerji değeri atamayı öğretir ve akıl yürütme döngüsünün her turunu, bu enerjiyi düşüren bir gradyan inişi adımı olarak ele alır. Makaleye göre, yalnızca 1,8 milyon parametreli bir EBR, en yakın rakibinden 345 kat daha az çıkarım hesaplaması kullanarak Sudoku-Extreme'da %99,9 doğruluğa ulaşıyor. Hacker News'in ana sayfasında görünen proje sayfası, başlığında tekrarlayan akıl yürütücülerin bu şekilde inşa edilmesi gerektiğini savunuyor.
Model nasıl çalışıyor
Döngüsel modeller, etkin derinliklerini ölçekleyebilmek ve gizli uzayda akıl yürütebilmek için tekrarlayan bir bloğu art arda uygular. Yazarların eleştirisi, mevcut döngüsel akıl yürütücülerin gizli durumu ilerlemeye dair açık bir sinyal olmadan güncellemesi; dolayısıyla yinelemeye ne zaman duracağına ya da mevcut durumun iyi olup olmadığına karar vermenin ilkeli bir yolu bulunmamasıdır. EBR'ler bunu, bir gizli durumun girdiyle ne kadar uyumlu olduğunu puanlayan bir enerji fonksiyonu öğrenerek çözer; düşük enerji daha iyi uyum anlamına gelir. Bu tek fonksiyon dört rol üstlenir: durumları puanlar, gradyanı iyileştirme için bir yön sağlar, küçülen bir gradyan durgun bir durumu ve dolayısıyla doğal bir durma noktasını işaret eder ve birden fazla çözüm önerildiğinde en düşük enerjili aday kazanır. Model kendi durumlarını derecelendirdiği için harici bir doğrulayıcıya gerek yoktur. Eğitim için yazarlar, modeli ek çözüm kiplerini bulmaya ve enerji peyzajını daha geniş bir durum yelpazesinde şekillendirmeye iten keşif temelli eğitim sunuyor. Güncelleme stokastik gradyan inişi gibi davrandığından, model farklı düşük enerji havuzlarına yerleşebiliyor ve birden fazla çözümü olan problemler için birçok farklı geçerli çözümü ortaya çıkarabiliyor.
Kıyaslama sonuçları
Dört algoritmik akıl yürütme kıyaslamasında EBR'ler önceki tekrarlayan akıl yürütme modellerine eşit ya da daha iyi performans gösteriyor. Sudoku-Extreme'da 1,8M parametreli EBR, tek örneklemle %99,4 doğruluk elde ediyor; bu, karşılaştırılan akıl yürütme modelleri (5–10M parametre aralığındaki TRM, EqR, FPRM, GRAM ve döngüsel akışlar) arasında en iyi sonuç. Beş örnekle Sudoku-Extreme'da %99,9'a ve Maze-Hard'da %88,3'e ulaşıyor; %99,8'e ulaşmak için 128 örnek gerektiren EqR'ın önünde. Makale, EBR'lerin EqR'ın en iyi doğruluğuna 7 kat daha az yineleme ve 43 kat daha az örnekle ulaştığını bildiriyor. Her yörüngeyi enerji gradyanı bir eşiğin altına düştüğünde sonlandıran uyarlamalı durdurma, kolay bulmacaların birkaç adımda bitmesini sağlarken zorların devam etmesine izin veriyor; sabit derinlikli bir EBR'ye kıyasla 10,9 kat ve genel olarak EqR'a kıyasla 345 kat daha az FLOPs kullanarak %99,9 doğruluğu koruyor; eğitim hesaplaması ise benzer düzeyde. Çok çözümlü problemlerde EBR'ler N-Queens'i tek örneklemle %100 (8×8) ve %99,5 (10×10) doğrulukla, sıfır çatışmayla çözüyor; 20 örnekle farklı geçerli çözümlerin %98,1'ini ve %92,0'sini kapsıyor. Graph Coloring'de çözümlerin %88,6'sını (8 köşe) ve %54,5'ini (10 köşe) kapsıyor; GRAM ve TRM baselines'larının önünde.
Uyarılar
İki noktaya dikkat çekmek gerekir. Projenin başlığı 385 kat verimlilik iddia ediyor, ancak makaledeki tüm rakamlar 345 kat olarak belirtiliyor; bu makale makaledeki rakamı kullanıyor. Ayrıca, dört kıyaslamanın tümü; temiz, mekanik olarak doğrulanabilir çözümlere sahip algoritmik bulmacalar — tam da enerji peyzajının öğrenilmesinin en kolay olduğu ortam. Makale açık uçlu dil akıl yürütme üzerine sonuç bildirmiyor; dolayısıyla üretim çıkarım maliyetleri üzerindeki herhangi bir etki henüz gösterilmiş değil, olası bir beklenti.
Neden önemli
Çıkarım maliyeti, konuşlandırılmış akıl yürütme modellerinin giderlerinde baskın ve bunun büyük kısmı, ne zaman duracağına dair güvenilir bir sinyal olmadan çalışan zincir-düşünme döngülerinden geliyor. EBR'ler bunu doğrudan hedefliyor: cevabı iyileştiren aynı fonksiyon onu derecelendiriyor ve ne zaman bırakacağına karar veriyor; böylece ayrı bir doğrulayıcı ihtiyacını ortadan kaldırıyor ve boşa harcanan yinelemeleri azaltıyor. Uyarlamalı durdurma, hesaplamayı kabaca zorlukla orantılı hale getiriyor; böylece ucuz girdiler az maliyete neden olurken zor girdiler daha fazlasını hak ediyor — karma iş yükleri altında sunum altyapısının tam da istediği profil. Ve 1,8M parametreli bir modelin kendisinden üç ila beş kat büyük sistemlerle eşit performans göstermesi gerçek bir mimari verimliliğe işaret ediyor. Enerji tabanlı hedeflerin Sudoku ızgaralarından büyük dil modellerine aktarılıp aktarılamayacağı açık soru; ancak burada bildirilen kıyaslama farkı, yapay zekâ sunum maliyetlerini optimize eden herkesin bunu ciddiye alacağı kadar büyük.
- #energy-based-models
- #machine-learning
- #inference-efficiency
- #reasoning-models
- #research