Stanford'un Next-Concept Modeling'i metni token token yerine kaba-detaylı (coarse-to-fine) üretiyor

Token token üretime kaba-detaylı bir alternatif

dev.to'da yayımlanan teknik bir analizde, Stanford Üniversitesi'ndeki Hazy Research grubunun, çoğu büyük dil modelinin kullandığı soldan sağa, bir seferde bir token döngüsünden uzaklaşan bir dil üretim mimarisi olan Next-Concept Modeling'i (NCM) tanıttığı bildiriliyor. NCM bunun yerine tüm yanıtın kompakt bir temsilini oluşturuyor ve ardından giderek daha ince ayrıntıları dolduruyor; token'ları ancak hiyerarşi tamamlandığında üretiyor. Araştırma Ekim 2026'da yayımlandı ve ilgili depo MIT lisanslı, dev.to'ya göre.

NCM, üretim stratejileri arasında nerede duruyor

Bilinen LLM'lerin çoğu otoregresiftir: her token, o ana kadar yazılmış her şeyden tahmin edilir. Bu tür modellerin eğitimi iyi paralelleşir ama çıkarım doğası gereği sıralıdır, çünkü her adım bir öncekinin bitmesini bekler; çevresindeki araç ekosistemi de olgundur. Difüzyon dil modelleri ters yaklaşımı benimser: maskelenmiş veya gürültülü bir taslakla başlar ve diziyi tekrarlanan rafine etme turlarıyla gözden geçirir. Bu, birçok konumda eşzamanlı güncellemeye izin verir ama tüm diziyi tekrar tekrar değerlendirmenin hesaplama maliyeti yüksek olabilir.

NCM orta bir yol çiziyor. Ayrık kodların bir hiyerarşisine dayanıyor: belirli bir seviyedeki her kod aynı anda tahmin edilir ve sonraki, daha ince her seviye o ana kadar oluşturulmuş temsile koşullandırılır. Bu nedenle sıralı adım sayısı çıktının uzunluğunu değil, hiyerarşideki seviye sayısını izler.

İki eğitim aşaması

dev.to analizinin aktardığı gibi süreç iki aşamadan oluşuyor. İlkinde, metni çeşitli ayrıştırmalarda sıkıştırmak ve yeniden yapılandırmak için çok ölçekli artık bir VQ-VAE — vektör nicemlemeli otokodlayıcıların bir varyantı — eğitiliyor. Bunu üç teknik destekliyor: her seviye için ayrı codebook'lar, önceki seviyelerin kendi başına bilgi verici kalmasını sağlayan iç içe dropout ve orijinal metnin doğru şekilde geri kazanılabilmesi için token düzeyinde yeniden yapılandırma.

Ortaya çıkan yapı, tepedeki tek bir global temsilden, yanıtın geniş birimlerini tutan ara seviyelerden, alta yakın ince ayrıntılı temsillere kadar uzanıyor. İkinci aşamada tokenizer donduruluyor ve bir Transformer, bu seviyeleri sırayla — önce kaba kodları, sonra o ana kadar üretilmiş her şeye koşullandırılmış her bir daha ince seviyeyi — üretecek şekilde eğitiliyor. Çıkarım sırasında bir decoder, tamamlanmış hiyerarşiyi nihai metne dönüştürüyor.

Kaynaktan bir uyarı: buradaki "kavram" terimi, öğrenilmiş ayrık latent temsillere işaret ediyor, insan tarafından yorumlanabilir anlamsal birimlere değil; ve hiyerarşi açık bir kavram ağacı ya da ontoloji sanılmamalı.

Bildirilen rakamlar ve sınırları

Dev.to iki öne çıkan sonuç listeliyor: çıkarım, araştırmacıların değerlendirdiği difüzyon taban çizgilerinden 10 ila 31 kat daha hızlı çalışıyor ve eğitim, belirli taban çizgilerine kıyasla yaklaşık dört ila beş kat daha az token tüketti. Analiz, bu rakamların GPT, Qwen, Llama veya diğer güncel ticari ve açık ağırlıklı modellere göre bir üstünlük kanıtlamadığını açıkça belirtiyor; karşılaştırmalar sınırlı bir otoregresif olmayan taban çizgisi kümesiyle sınırlı. Çalışma ayrıca vektör nicemlemesinden ve otoregresif olmayan makine çevirisinden, ayrık diziler için difüzyon modellerine ve 2017 Transformer mimarisine uzanan uzun bir araştırma soyuna dayanıyor.

Neden önemli

Otoregresif kod çözme, çıkarım maliyetinin çıktı uzunluğuyla ölçeklenmesinin başlıca nedenidir: her token öncülünü beklemek zorundadır. Az sayıda hiyerarşi seviyesi yüzlerce sıralı kod çözme adımının yerini alabilirse, üretim gecikmesi ve maliyeti ciddi biçimde düşebilir — difüzyon dil modeli araştırmasını harekete geçiren ödülün aynısı, bu kez yinelemeli gürültü giderme yerine öğrenilmiş sıkıştırma yoluyla izleniyor. NCM'nin difüzyon taban çizgilerine karşı bildirdiği hızlanmalar ve azalmış eğitim bütçesi, kaba-detaylı yolun otoregresif olmayan aile içinde rekabetçi olduğunu gösteriyor. Ana akım otoregresif modellerin çıktı kalitesine ve araç olgunluğuna erişip erişemeyeceği henüz çözülmemiş olsa da, bir Stanford araştırma grubundan gelen, temelden farklı bir üretim mimarisinin gösterimi olarak, gelecekteki dil modellerinin nasıl inşa edilebileceğini takip eden herkes için izlenmeye değer bir yön işaret ediyor.