OpenAI'ın ilk Jalapeño benchmark'ları, Nvidia Blackwell karşısında kilovat başına throughput avantajı gösteriyor

OpenAI ilk Jalapeño benchmark'larını yayımladı

Salı günü Hot Chips konferansında OpenAI, Broadcom ile birlikte geliştirdiği inference işlemcisi Jalapeño'ya ilişkin şimdiye kadarki en ayrıntılı genel görünümü sundu ve sistemle ilgili ilk benchmark sonuçlarını yayımladı. TechCrunch'ın aktardığına göre çip, SemiAnalysis'in InferenceX benchmark'ında test edildi ve şu anda piyasada bulunan en güçlü inference işlemcilerini iki ölçüte göre geride bıraktı: kullanıcı başına teslim edilen token sayısı ve kilovat başına throughput.

OpenAI'ın donanım sorumlusu Richard Ho, basın toplantısında gazetecilere verdiği bilgide, sonuçların günümüzdeki en iyi teknolojinin ötesinde önemli bir adımı temsil ettiğini söyledi. Onun anlatımıyla sistem, tüktüğü her birim güç karşılığında daha fazla yapay zeka işi yaparken yanıtları da daha hızlı geri döndürüyor — aynı anda çok sayıda müşteriye hizmet verecek kadar verimli, ama yine de düşük gecikme süreleri sunabiliyor.

Manşet rakamlarının hemen altında bir uyarı var: karşılaştırma bir Nvidia Blackwell sistemine, yani bugün var olan bir donanıma yapılıyor. Rakiplerin yerinde durması beklenmez ve Jalapeño ölçekli şekilde çalıştığında tablo bambaşka görünebilir.

Tasarım, inference'ın yavaş aşamalarını hedefliyor

Jalapeño geçen Ekim ayında duyuruldu ve Broadcom ile yakın iş birliği içinde, tasarım sürecinde OpenAI'ın kendi modelleri kullanılarak geliştirildi. Şirket, çipi yapay zeka ürünleri, modeller, çipler ve belleğin ayrı katmanlar olarak değil, birlikte evrildiği daha uzun vadeli bir platformun ilk adımı olarak konumlandırıyor.

OpenAI'ın savunmasına göre tam yığın (full-stack) kontrolü, mühendislerinin tipik olarak sürtünmeye yol açan inference pipeline aşamalarına — özellikle gelen bir prompt'un ilk işlendiği prefill aşamasına ve bileşenler arasındaki iletişim aşamasına — el atmasını sağladı. Sonuçları paylaştığı bir blog yazısında şirket, Jalapeño'nun ne kadar verinin hareket ettiğini ve iletişimin ne kadar sürdüğü azaltacak şekilde tasarlandığını belirtti. Bir yanıt üretilirken biriken KV cache dahil model durumu yerelde tutulabiliyor; işlem, bellek ve ağ kaynakları, inference'ın hangi aşaması çalışıyorsa ona göre eşleştirilebiliyor.

Önce sınırlı hacim, 2027'de ölçek

Ho, Jalapeño'nun 2026 sonunda sınırlı sayıda dağıtılacağını, 2027'de ise çok daha geniş bir yayılımın geleceğini tahmin ediyor. Bu takvim, benchmark sonuçlarının nasıl okunması gereceğini de çerçeveliyor: Hot Chips'te gösterilen avantaj, şu anda mevcut olan donanıma göre ölçüldü ve rakip hızlandırıcı yol haritaları, OpenAI'ın çipi anlamlı ölçüde dağıtılmadan önce ilerlemeye devam edecek.

Neden önemli

Inference, büyük ölçekli yapay zekanın baskın işletme maliyeti haline geldi ve güç verimliliği, bir sağlayıcının ekonomik olarak sunabileceği inference kapasitesini giderek daha fazla belirliyor. Kilovat başına daha fazla token döndüren bir işlemci bu aritmetiği doğrudan değiştiriyor; per-energy rakamlarının salt ham hızdan daha önemli olmasının nedeni de bu.

Sonuçlar ayrıca OpenAI'ın özel yonga çabasının ölçülebilir mühendislik çıktıları ürettiğine işaret ediyor. Kendi modellerinden oluşan bir yığın için inference donanımı tasarlamak, şirkete genel amaçlı hızlandırıcı üreticilerinin kolayca taklit edemeyeceği optimizasyon kolları veriyor. Açık soru dayanıklılık: Jalapeño hacme ancak 2027'de ulaşacak, rakipler yerinde durmayacak ve Hot Chips rakamları liderliği yalnızca bugünkü haliyle yansıtıyor.