arXiv makalesi: hibrit metin/latent agent'lar token kullanımını %35-55 azaltıyor ve 2,6 kata kadar daha hızlı çalışıyor

Makale ne öneriyor

Bir arXiv ön baskısı, Hybrid Reasoning Agents yani HybridAgents adını verdiği, bir LLM agent'ının tek bir üretim sırasında iki düşünme biçimi arasında ileri geri geçiş yapmasına olanak tanıyan bir mimari tanıtıyor: sürekli bir latent temsilde içsel muhakeme ve normal metinle dışsal muhakeme. Makaleye göre günümüzdeki LLM agent'larının çoğu tüm işlerini metinle yapıyor; bu da onları şeffaf ve araçlarla uyumlu hale getiriyor ama çalıştırmayı pahalı kılıyor. Latent muhakeme bu dengeyi tersine çeviriyor: içsel bir ortam olarak verimli, ancak araçları doğal yollarla çağıramıyor ve incelenmesi zor.

Yazarlar bu ikisini köprülediklerini söylüyor. HybridLink adlı hafif bir bileşen metin ve latent modlar arasındaki geçişleri yönetirken, agent tüm hibrit bağlamı bilgi kaybetmeden birden fazla tur boyunca taşıyan sürekli bir çalışma belleği tutuyor. Dikkat çekici bir tasarım tercihi, latent düşüncelerin doğrudan incelenebilir kalması; bu da latent muhakemeye yönelik standart itirazlardan birini ortadan kaldırıyor: modelin gerçekte ne yaptığını göremiyorsunuz.

İki post-training yöntemi

Mimari tek başına yeterli değil; ana modelin onu nasıl kullanacağını öğrenmesi gerekiyor. Makale, hibrit muhakeme için iki ayrı eğitim algoritması tanımlıyor.

İlki olan HybridSFT, temel alttaki modele HybridLink ile nasıl çalışacağını öğreterek araç entegrasyonlu hibrit üretimi stabilize eden denetimli bir aşama. İkincisi olan HybridRL ise pekiştirmeli öğrenme uyguluyor; böylece agent hangi durumların latent düşünmeyi, hangilerinin metin üzerinden hareket etmeyi gerektirdiğini öğreniyor ve etkili bir şekilde kendi bilişsel modları üzerine bir politika ediniyor.

Bildirilen sonuçlar

Ekip, HybridAgent'ı matematik, bilim, tıp, arama ve agent muhakemesini kapsayan 11 benchmark üzerinde üç model ölçeğinde değerlendirdi. Hem metin tabanlı hem latent yöntemleri kapsayan frontier LLM agent'ları ve agent çerçevelerine karşı makale şunları bildiriyor:

• genel olarak %10,4 performans artışı
• %35,5 ile %54,7 arasında token azaltımı
• 1,8x ile 2,6x arası çıkarım hızlanması
• 2,7x ile 3,7x arası maliyet tasarrufu

Bu rakamlar yazarlar tarafından bildiriliyor ve herhangi bir ön baskıda olduğu gibi henüz hakem incelemesinden geçmiş değil. Ancak makale, kodun ve verinin yayımlandığını belirtiyor; bu da iddiaların en azından başkaları tarafından doğrulanabilir olduğu anlamına geliyor. Çalışma, ön sayfaya ulaştığı Hacker News'te de ilgi gördü.

Neden önemli

Agent geliştirenler için belirleyici kısıtlar genellikle maliyet ve gecikmedir. Agent döngüleri her adımda token tüketir — planlama, araç çağrıları, gözlemlerin ayrıştırılması, yeniden planlama — bu yüzden adım başına üçte bir ile yarı yarıya azaltım, tüm bir çalışma boyunca birikerek büyür. Bildirilen 2,7x-3,7x maliyet tasarrufuyla birlikte bu, bir demo ile API faturasını göğüsleyebilen bir ürün arasındaki fark olabilir.

Hız rakamları da en az bunun kadar önemli. Dakikalarca uzun düşünme zincirlerinde debelenen agent'lar kullanıcılara bozuk gelir; 1,8x-2,6x daha hızlı çıkarım bu deneyimi doğrudan değiştirir.

Asıl büyük hikaye ise mimari olan. Latent muhakeme bir süredir bir araştırma yönü olarak dolaşımda, ancak iki engel onu pratik agent'ların dışında tutuyordu: doğal araç erişiminin ve şeffaflığın olmaması. Bu makale her ikisini de ortadan kaldırdığını iddia ediyor — HybridLink latent düşünceyi araç kullanımına bağlarken, incelenebilir latent durumlar ve kalıcı çalışma belleği muhakemeyi turlar boyunca denetlenebilir kılıyor.

Bildirilen kazanımlar bağımsız değerlendirme altında doğrulanırsa, hibrit bir metin/latent tasarım laboratuvar meraklısı olmaktan çıkıp agent geliştiricileri için somut bir tarifa dönüşüyor: ortamın ihtiyaç duyduğu yerde metni koruyun, başka her yerde latent düşünün ve modele bu farkı bilmesini öğretin.