arXiv makalesi, küçük Transformer'ların yüzde 15 yakınında kalan attention-free Grassmann modelleri öneriyor

Attention'ın gerekliliğine bir meydan okuma

22 Aralık 2025'te Chong Zhang tarafından arXiv'e "Attention Is Not What You Need" başlığıyla yüklenen ve kısa süre önce Hacker News'in ana sayfasında öne çıkan bir makale açık bir soru soruyor: güçlü sequence modeling performansı ve akıl yürütme için açık bir self-attention mekanizması gerçekten gerekli mi? Yazarların cevabı hayır, ya da en azından zorunlu değil.

Argümanları, attention'ın ne yaptığına bakış açısını yeniden çerçeveleyerek başlıyor. Makaleye göre standart multi-head attention en iyi bir tür tensor lifting olarak anlaşılabilir: gizli vektörler, token çiftleri arasındaki etkileşimlerin bulunduğu yüksek boyutlu bir uzaya taşınıyor ve öğrenme, bu yükseltilen tensor'ı gradient descent ile kısıtlayarak ilerliyor. Bu mekanizma son derece ifade gücü yüksek ama matematiksel olarak opak; çünkü birçok katmandan sonra model artık küçük bir açık değişmezler ailesiyle tanımlanamıyor.

Attention matrisinin yerini ne alıyor

Önerilen alternatif, yazarların Grassmann akışları adını verdiği bir yapı üzerine kurulu attention-free bir mimari. Çekirdek bileşeni olan Causal Grassmann katmanı, L çarpı L'lik attention matrisini hiç oluşturmuyor. Özete göre katman sırasıyla üç şey yapıyor: token durumlarını doğrusal olarak küçültüyor, yerel token çiftlerini Plücker koordinatları aracılığıyla bir Grassmann manifoldu üzerinde iki boyutlu alt uzaylar olarak kodluyor ve bu geometrik özellikleri gated mixing yoluyla gizli durumlarla birleştiriyor.

Sabit boyutlu doğrusal alt uzayların matematiksel uzayı olan Grassmann manifoldunda bir token çifti, attention'ın hesaplayacağı bir benzerlik skoruyla değil, kapladığı alt uzayın yönelimiyle temsil ediliyor. Bilgi daha sonra ağ boyunca, çok ölçekli yerel pencereler arasında düşük ranklı alt uzayların kontrollü deformasyonları olarak yayılıyor; böylece temel hesaplama yapılandırılmamış bir tensor uzayı yerine sonlu boyutlu bir manifold üzerinde gerçekleşiyor. Yazarlar, Grassmann mixing'in sabit rank için sequence length ile doğrusal olarak ölçeklendiğini bildiriyor — uzun bağlamları hedefleyen diğer attention alternatiflerini de motive eden bir özellik bu.

Şimdiye kadarki kanıtlar

Argümanı iki benchmark sonucu taşıyor.

Wikitext-2 dil modelleme benchmark'ında, yalnızca Grassmann tabanlı 13 ila 18 milyon parametreli modeller, benzer boyutlu Transformer'ların yaklaşık yüzde 10-15'i içinde validation perplexity değerlerine ulaşıyor. Bu yakın, ama hâlâ bir açık: makale küçük ölçekte rekabet edebilirliği gösteriyor, üstünlüğü değil.

SNLI doğal dil çıkarımı görevinde ise sonuç hafifçe tersine dönüyor. DistilBERT üzerine yerleştirilen bir Grassmann-Plücker sınıflandırma başlığı, eşdeğer bir Transformer başlığını geride bırakıyor; en iyi validation doğruluğu 0.8550'ye karşı 0.8545, en iyi test doğruluğu ise 0.8538'e karşı 0.8511.

Her iki deney de modern standartlara göre küçük ve makale üretim ölçeğindeki dil modelleri hakkında bir iddiada bulunmuyor. Katkı, varlık kanıtına daha yakın: mütevazı görevlerde Transformer'larla aynı ligde sonuç alan geometrik, attention-free bir tasarım.

Neden önemli

Bugün konuşlandırılan hemen her büyük dil modeli self-attention üzerine kurulu ve bu mekanizmanın maliyeti, context-window limitlerinden eğitim bütçelerine kadar her şeyi şekillendiriyor. Sequence length'te doğrusal ölçeklenen ve daha temiz bir matematiksel yapıya sahip, güvenilir bir attention-free tasarım iki nedenle önemli. Uzun bağlamlı modellemenin işlem maliyetini düşürebilir ve yazarların savunduğu gibi, manifold tabanlı tasarımlar, davranışı özlü bir tanımlamaya direnen attention yığınlarına kıyasla geometrik ve değişmez temelli yorumlamaya daha elverişli olabilir.

Bu makale tek başına attention'ı tahtından edecek değil. Dil modelleme sonuçları hâlâ Transformer'ların gerisinde, modelleri güncel standartlara göre çok küçük ve veri kümeleri küçük. Ama state-space modelleri ve linear-attention varyantlarının yanı sıra, sequence modeling'de neyin esas olduğuna dair daha geniş bir yeniden değerlendirmeye katılıyor. Belirleyici test — Grassmann akışlarının milyarlarca parametreyle kararlı biçimde eğitilip eğitilemeyeceği ve performans gösterip gösteremeyeceği — burada ele alınmıyor ve bu sorunun cevabı, bu çalışma hattının gelecekteki LLM mimarilerini etkileyip etkilemeyeceğini ya da teorik bir merak olarak kalıp kalmayacağını belirleyecek.