2026, yapay zekâ donanımının eğitimden çıkarıma (inference) dönüşeceği yıl oldu

Bu yıl yapay zekâ donanımının belirleyici hikâyesi artık en büyük modeli kimin eğitebildiği değil. IEEE Spectrum'a göre sektörün ağırlık merkezi eğitim çiplerinden çıkarıma (inference) — eğitilmiş modelleri kod, deneme ve görsel üretmek için çalıştırma eylemine — kaydı ve tam bu iş için tasarlanmış çipler, Tensordyne'un Napier'ı örneğinde, bu kaymanın simgesi hâline geldi.

Eğitim arka plana geçti

Yaklaşık son altı yılda yapay zekâdaki ilerleme ölçek anlamına geliyordu: büyük dil modelleri milyonlarca parametreden trilyonlara büyüdü ve sonuçlar ölçülebilirdi. IEEE Spectrum, 2020'de yayımlanan OpenAI'nin GPT-3'ünün en büyük sürümünün yaygın kullanılan bir bilgi ve akıl yürütme kıyaslamasında soruların yüzde 43,9'una doğru yanıt verdiğini; dört yıl sonra GPT-4o'nun aynı sınavda yüzde 88,7 puan alarak fiilen insan uzmanlarıyla eşitlendiğini belirtiyor.

İleri düzey laboratuvarlar hâlâ daha büyük modeller eğitiyor, ancak konuşma konusu değişti. Nvidia CEO'su Jensen Huang, şirketin GTC 2026 konferansında bu anı "çıkarım (inference) dönüm noktası" olarak tanımladı ve Moor Insights & Strategy'nin baş veri merkezi analisti Matt Kimball, IEEE Spectrum'a eğitim fiilen eski bir haber olduğunu — bilgi yöneticilerinin (CIO) konuşmak istediği tek şeyin çıkarım olduğunu söyledi.

Yükselişi üç güç besliyor. Büyük dil modelleri gerçekten kullanışlı hâle geldi, bu yüzden kullanım sürekli artıyor. Akıl yürütme modelleri tek bir sorgu için çıkarımı birden çok kez çalıştırıyor, zincirleme düşünme adımları boyunca kendini yeniden prompt'luyor ve IEEE Spectrum, yüksek akıl yürütme çabasının düşük çabalı bir yanıta kıyasla 20 kat fazla metin üretebileceğini bildiriyor. Ajanlı yapay zekâ (agentic AI) ise çıkarımı gece gündüz çalıştırıyor; yalnızca bir prompt'a tepki vermek yerine kullanıcı tanımlı hedeflere doğru özerk biçimde çalışıyor.

Çıkarım farklı bir hesaplama sorunu

IEEE Spectrum ayrımı basitçe örneklendiriyor: eğitilmemiş bir model, kelime parçası karolarından oluşan bir karmaşadır ve eğitim — milyarlarca metin boyunca oynanan bir sonraki tokenı tahmin oyunu, geri yayılım (backpropagation) yoluyla ayarlanan parametrelerle — düzeneği getirir. Bu süreç hesaplama açısından doyumsuzdur; dev şirketlerin giderek büyüyen veri merkezleri inşa etmesinin nedeni de budur.

Çıkarım parametreleri dondurur ama kendi darboğazını yaratır. d-Matrix'in kurucusu ve CTO'su Sudeep Bhoja, IEEE Spectrum'a modeller otoregresif olduğu için her yeni tokenın üretilmesinin modelin tüm ağırlıklarının yanı sıra birikmiş tüm bağlamın — her prompt'un, her yanıtın ve her yüklenen dosyanın — okunmasını gerektirdiğini söyledi.

İş iki aşamaya bölünüyor. Prefill aşamasında model tüm prompt'u tek seferde okuyarak tüm tokenlar arasında attention hesaplar ve sonuçta onlarca gigabayta kadar şişebilen bir KV cache'te anahtar ve değer vektörlerini saklar. Prefill iyi paralelleşir; büyük dil modelleri yükselirken GPU'ların baskın yapay zekâ hızlandırıcısı olmasının nedeni de budur. Asıl zor kısım decode'dur: model tokenları tek tek üretir ve her adım tüm parametre setinin — onlarca ile yüzlerce gigabayt — artı KV cache'in bellekten akıtılmasını gerektirir. Bant genişliği sık sık yetersiz kalır ve IEEE Spectrum'un aktardığı araştırmacılar, açık kaynak büyük dil modelleri çalıştıran Nvidia H100 GPU'ların veri beklerken zamanın yüzde 50 ile 80'i arasında boşta kaldığını buldu.

Bu boşta kalma süresi yeni tasarım mantığını açıklıyor. Cerebras'ın wafer ölçekli motoru, bant genişliğini en üst düzeye çıkarmak için belleği ve hesaplamayı tabak büyüklüğünde bir çip üzerinde yan yana tutuyor. Nvidia'nın Groq 3 dil işleme birimi (language-processing unit) — şirketin startup Groq'dan 20 milyar dolarlık tartışmalı bir anlaşmayla edindiği yetenek ve fikri mülkiyet üzerine kurulu — çip üstü SRAM ve hesaplama bloklarını iş yükünün gerektirdiği sıraya dizerek veri hareketini en aza indiriyor.

Silikon pazarında tuhaf ittifaklar

Çıkarım talebi kurumsal sadakatleri de allak bullak ediyor. OpenAI ve Amazon, Amazon'un kendi Trainium silikonuna sahip olmasına rağmen Cerebras çiplerini kullanıyor; Amazon Web Services çıkarımı ikiye bölüyor, hespalama açısından karmaşık kısmı Trainium üstlenirken bellek yoğun kısmı Cerebras motoru üstleniyor. Anthropic ise IEEE Spectrum'a göre, rakip model geliştiricisi SpaceXAI'ya boşta kalan hesaplama gücünü kiralamak için ayda bir milyar dolardan fazla ödüyor.

Neden önemli

Çıkarım çalıştıran GPU'lar zamanın yarısı ile beşte dördü arasında boşta kalıyorsa, ham hesaplama gücü — eğitim çağını tanımlayan ölçüt — yanlış şeyi ölçüyor demektir ve kurulu hızlandırıcı tabanının büyük bir bölümü kullanılmıyor demektir. Bağlayıcı kısıt bellek bant genişliğidir; bu da tepe performans yerine veri hareketi etrafında tasarlanmış mimarileri avantajlı kılıyor. Bu aynı zamanda rekabet haritasının neden yeniden çizildiğini açıklıyor: şirketler, ekonomi gerektirdiğinde rakiplerinin çiplerini kullanacak ve rakiplerinin kapasitesini kiralayacak. Eğitim durmadı, ama 2026'nın parası, mühendislik çabası ve ittifakları artık çıkarımı izliyor ve Tensordyne'un Napier'ı gibi özel silikonlar pazarın yönünü işaret ediyor.