deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak The Verge

OpenAI, Jalapeño AI çipinin inference hızında ve verimliliğinde Nvidia süper çiplerini geride bıraktığını iddia ediyor

OpenAI, Broadcom'ün ürettiği Jalapeño inference çipinin, en iyi Nvidia tabanlı sonuçlara kıyasla watt başına 1,5–1,9 kat daha fazla iş ve 3,6 kata kadar daha düşük gecikme sunduğunu söylüyor; küçük hacimli teslimatlar bu yıl başlıyor.

OpenAI, Jalapeño AI çipinin inference hızında ve verimliliğinde Nvidia süper çiplerini geride bıraktığını iddia ediyor

OpenAI, haziran ayında ilk kez tanıttığı özel AI çipi Jalapeño'nun performans verilerini yayımladı ve çipin rakip sistemlerden daha hızlı ve daha verimli inference iş yükleri çalıştırdığını iddia etti. The Verge'nin haberine göre iddialar, salı günü şirket blogunda yayımlanan bir yazıda yer aldı ve OpenAI'nin donanım başkan yardımcısı Richard Ho öncülüğünde gazetecilere yapılan brifingde detaylandırıldı.

İki dünyanın da iyisi

Ho, çipi "iki dünyanın da iyisini" sunduğu şekilde tanımladı: daha düşük gecikme ile birlikte daha yüksek throughput. Bunun olağan dışı olduğunu savundu; çünkü AI sistemleri genellikle ikisinden birini feda etmek zorundadır — ya tek tek isteklere hızlı yanıt verir ya da aynı anda çok sayıda isteği yönetir, ama ikisini birlikte yapamaz.

Jalapeño, Broadcom ile ortaklık içinde geliştirilen, training değil inference odaklı bir Application-Specific Integrated Circuit, yani ASIC. Inference, bir görevi tamamlamak, bir prompt'a yanıt vermek veya bir ajanı çalıştırmak için eğitilmiş bir modeli çalıştırma sürecidir — AI hattının, kullanıcıların yanıtları ne kadar hızlı aldığını ve her yanıtın sunucu tarafında neye mal olduğunu belirleyen aşaması.

Nasıl ölçüldü

Çipi benchmark etmek için OpenAI, sistemlerin inference iş yüklerini ne kadar iyi yönettiğini ölçen InferenceX platformunu kullandı. Karşılaştırma hedefi, o dönemde platformda kaydedilen en iyi sonuçlardı ve bu sonuçlar Nvidia'nın GB200 veya GB300 süper çipleri etrafında kurulu sistemlerle elde edilmişti.

GPT-OSS 120B, DeepSeek R1 ve Kimi K2.5 1T olmak üzere üç modelde OpenAI'ye göre Jalapeño, söz konusu Nvidia tabanlı sistemlere kıyasla watt başına 1,5 ila 1,9 kat daha fazla AI işi ve 1,7 ila 3,6 kat daha düşük uçtan uca gecikme sundu. Ho, pratik sonucun "daha hızlı yanıtlar, daha tepkisel ajanlar ve talep arttıkça daha güvenilir erişim" olması gerektiğini söyledi.

Bunlar OpenAI'nin kendi benchmark sonuçları; çipi üreten şirket tarafından seçildi ve çerçevelendi ve The Verge'nin haberinde bağımsız bir doğrulamaya dair herhangi bir işaret yok.

Yaygınlaştırma ve Nvidia sorusu

Ho'ya göre Jalapeño bu yılın sonuna kadar "küçük hacimlerde" devreye alınacak ve hacimler 2027'ye kadar artacak. OpenAI, gelecek yıl kaç çip devreye almayı beklediğini açıklamadı.

Şirket, çipi mevcut altyapısının toptan bir alternatifi olarak da görmüyor. Ho, Jalapeño'nun OpenAI'nin tüm çip dizisini заменmayacağını, daha geniş hesaplama stratejisinin Nvidia gibi "çok iyi ortaklar"ı hâlâ içerdiğini belirtti. Çipin ikinci ve üçüncü nesil sürümlerinin geliştirilmesi zaten sürüyor.

Neden önemli

AI ekonomisinin belirlendiği yer giderek training değil inference oluyor. Her sohbet yanıtı ve otonom bir ajanın attığı her adım hesaplama gücü tüketiyor ve gecikme, bu sistemlerin kullanımda nasıl hissettirdiğini doğrudan şekillendiriyor. Gerçekten watt başına daha fazla işi daha düşük gecikmeyle sunan bir çip, büyük modelleri ölçekli olarak sunmanın hem maliyetini hem de gecikmesini düşürür — bu da ajanlı (agentic) iş yükleri kullanıcı başına görev başına çağrı sayısını çoğalttıkça en çok önem taşıyan husus.

Duyuru ayrıca OpenAI'nin donanım yığınının daha fazlasına sahip olmak istediğine işaret ediyor; tıpkı AI ve bulgu oyuncularının tek bir tedarikçiye bağımlı olmak yerine kendi silikonlarını tasarlama şeklindeki daha geniş endüstri eğilimi gibi. Ancak iddialara, üçüncü taraflar üretim donanımını test edene kadar ihtiyatla yaklaşmak gerekiyor: üreticilerin seçtiği iş yüklerinde yaptığı benchmark'lar nadiren bütün hikayeyi anlatır ve GB200 ile GB300 de karşılaştırma hedefi olarak yerinde saymayacak.

Bu yıl sonuna kadar hacimlerin küçük olarak tanımlanmasıyla, asıl test 2027'de gelecek; planlanan hacim artışı çipin ikinci ve üçüncü nesillerinin geliştirilmesiyle aynı döneme denk geliyor. O zamana kadar Jalapeño'yu hem gerçek bir mühendislik bahsi hem de OpenAI'nin Nvidia ile süregiden ilişkisinde bir manivela olarak okumak en doğrusu.

  • #openai
  • #ai-chips
  • #inference
  • #broadcom
  • #nvidia
  • #hardware

İlgili yazılar