NVIDIA Research'a göre küçük dil modelleri yapay zeka agent çağrılarının çoğunu yönetebilir

Beklenmedik bir kaynaktan gelen iddia

Frontier modellerinin çoğunu çalıştıran GPU'ları üreten şirketin bünyesindeki laboratuvar NVIDIA Research, "Small Language Models are the Future of Agentic AI" başlıklı bir pozisyon makalesi yayımladı. Ganesh Sivakumar'ın dev.io üzerindeki yazısında açıkladığı gibi, yazarlar Belcak ve arkadaşları, 10 milyar parametre altındaki bir modelin bir agent'ın yaptığı çağrıların çoğu için yeterince güçlü olduğunu ve bu çağrılara daha uygun olduğunu savunuyor. Temel rakam şu: 7 milyar parametreli bir modeli sunmak, gecikme, enerji ve hesaplama birlikte hesaba katıldığında 70 ila 175 milyar aralığındaki modellerden 10 ila 30 kat daha ucuz; bir modeli özelleştirmek ise haftalar değil birkaç GPU-saatlik fine-tuning alıyor.

Argüman, agent'ların gerçekte ne yaptığına dayanıyor. Bir chatbot açık uçlu sohbetle parasını kazanır, ancak bir agent dar bir diziyi — planla, bir araç çağır, sonucu incele, yeniden başla — tekrar tekrar döngüye sokar. Bu çağrıların her birinde ansiklopedik genellik için frontier fiyatları ödemek, adımların çoğunun hiç kullanmadığı bir yetenek satın almak anlamına geliyor. Makalede atıf yapılan anketler, büyük BT kuruluşlarının yarısından fazlasının halihazırda yapay zeka agent'ları çalıştırdığını, yalnızca yüzde 21'inin bunları geçtiğimiz bir yıl içinde benimsediğini bildiriyor; ve tüm bu tekrarlayan çağrıların faturası artık üst yönetimin dikkatini çekiyor.

Bağımsız kıyaslamalar aynı yöne işaret ediyor

NVIDIA belgesi bu pazarın iki ucuna da donanım satan bir şirketin savunması olduğu için, dev.io yazarı tarafsız ölçümler aramış. Bulduğu en güçlü çalışma, IJCAI 2026 bildirilerinde yayımlanan, Reichwald ve arkadaşlarının DFKI araştırması; bu çalışma küçük modelleri beş görevde doğruluk ve enerji kullanımı açısından test etmiş.

Matematik akıl yürütme kıyaslaması olan GSM8K'da, test edilen en büyük model olan 675 milyar parametreli MistralLarge-3, önde gelen küçük model Qwen-3-4B'nin yaklaşık 32 katı enerji tüketirken yalnızca yaklaşık iki puanlık mutlak doğruluk artışı sağlamış. Azalan getiri küçük aralığın içinde de görülüyor: başka bir kıyaslamada, tek bir yüzde puanı doğruluk için Qwen-3-8B'den Qwen-3-14B'ye geçmek çıkarım enerjisini neredeyse ikiye katlamış.

Tuzak: küçük otomatik olarak ucuz demek değil

dev.io yazısına göre aynı DFKI çalışması, daha iyimser özetlerin atlamaya eğilimli olduğu bir karşı görüş de içeriyor. Birebir karşılaştırmalarda, daha küçük model kıyaslamaya bağlı olarak vakaların yüzde 14 ila 43'ünde aslında daha fazla enerji tüketmiş. Suçlu çıktı uzunluğu: lafkalık yapan küçük bir model, tasarrufunu fazladan token'lara harcıyor. Verimlilik parametre sayısı veya token başına fiyatla değil, davranışla belirleniyor.

Geliştiriciler için bir routing deseni

NVIDIA'nın üç açık kaynak agent çerçevesindeki kendi testlerinde, özelleşmiş küçük modeller LLM çağrılarının yüzde 40 ila 70'ini devralabilir durumda. Çıkarılan mimari routing: rutin adımları küçük bir model hallediyor, frontier model ise yalnızca gerçekten ihtiyaç duyulan vakaları görüyor. Bir de geceden önce biten fine-tuning ekleyince, bir agent'ın her adımı her şeyi yapmak için ücret ödenen tek bir genelci yerine kendi uzmanına sahip olabiliyor.

dev.io yazarının pratik önerileri buradan doğuyor: modelleri seçmeden önce agent'ın çağrılarını haritalandırın, her adımı varsayılan olarak küçük bir modele verin ve yalnızca ölçülen başarısızlıkta üst modele yönlendirin, lafkalığın gerçek bir enerji maliyeti taşıdığı için kısa yanıtlar için prompt'layın ve ayarlayın, ve gitgide uzayan prompt'lar yerine fine-tuning'i tercih edin.

Altyapı ekonomisi bu görüşü pekiştiriyor. Analist firması Ecosystm, Asya Pasifik'teki kuruluşların yüzde 54'ünün altyapı sınırlamalarını yapay zeka dağıtımının en büyük engeli olarak gördüğünü ve yalnızca yüzde 21'inin mevcut hesaplama gücünün yapay zeka büyümesini destekleyebileceğini söylediğini buldu. Küçük modeller tüketici sınıfı donanımda, edge'de ve hatta çevrimdışı çalışıyor; bu ayrıca verileri yerelde tutuyor.

Neden önemli

Agent geliştiricileri için bu, model seçimini salt bir yetenek sorusu olmaktan çıkarıp bir maliyet ve mimari kararı olarak yeniden çerçeveliyor. Agent çağrılarının yüzde 40 ila 70'i enerji ve gecikmenin çok küçük bir bölümüyle 10 milyar altı modellerde çalışabiliyorsa, routing ve adım başına fine-tuning temel mühendislik becerileri haline geliyor ve çıkarım bütçeleri ona göre küçülüyor. Uyarılar da aynı ağırlığı hak ediyor: NVIDIA belgesi bir satıcı pozisyon makalesi, DFKI rakamları belirli kıyaslamalardan, modellerden ve tek bir donanım kurulumundan geliyor, Ecosystm anketi ise yalnızca Asya Pasifik'i kapsıyor. Yine de üç kaynağın da işaret ettiği yön tutarlı — tekrarlayan agent işleri için model boyutu önce bir maliyet kararıdır ve lafkalık yapan küçük bir model tasarrufu sessizce silebilir.