Google, bu yılın dördüncü yeni TPU sistemi olan TPU 8tx ve TPU 8i Max'i duyurdu

Google, sekizinci nesil TPU ailesine iki sistem daha ekledi: güvenli ve gizli çıkarım için tasarlanmış TPU 8tx ve çok büyük bağlam pencereleri için tasarlanmış çift çipli bir paket olan TPU 8i Max. Google'ın duyurusuna göre şirket, tek bir yıl içinde dört TPU sistemi çıkarmayı ilk kez başardı.

Bir nesilde dört sistem

Sekizinci nesil portföy artık dört farklı konfigürasyonu kapsıyor. Nisan ayında Google Cloud Next'te tanıtılan TPU 8t ve TPU 8i temeli oluşturuyor: 8t büyük ölçekli eğitimi, 8i ise gerçek zamanlı akıl yürütmeyi hedefliyor; Google, önceki nesle kıyasla yüzde 2,7'e varan daha iyi eğitim performansı ve yüzde 80 daha iyi çıkarım fiyat-performansı bildiriyor. İki yeni sistem bu temeli genişletiyor — 8tx donanım düzeyinde gizlilik ekliyor, 8i Max ise bağlam yoğun ajanik iş yükleri için hesaplama gücünü ve belleği iki katına çıkarıyor.

Google, TPU'ların ses tanıma ve çeviri gibi özgün iç kullanımlarının çok ötesine geçtiğini belirtiyor. Artık Gemini modellerinin eğitimini ve sunumunu, ajanik iş yüklerini, Google Cloud müşteri hizmetlerini ve müşterilerin kendi veri merkezlerine doğrudan dağıtımı üstleniyorlar. Şirket, TPU'ları sınır araştırma laboratuvarları, ticaret firmaları, perakendeciler ve üniversiteler dahil yaklaşık 100 müşterisiyle hızla büyüyen bir iş olarak tanımlıyor.

Çipler değil, sistemler

Duyurunun yinelenen temalarından biri çip ile sistem arasındaki fark. Google'ın açıklamasına göre bir çip tasarlamak, silikon üretimine bağlı çok yıllı bir süreçtir; oysa sistem, o çipin etrafında hesaplama gücünün, ağın ve depolamanın nasıl paketlendiğiyle ilgilidir. Google TPU'larını AI Hypercomputer içinde modüler yapı taşları olarak inşa ettiğinden — ayarlanabilir paketleme, yüksek hızlı bellek, optik ağ ve güvenlikle — özelleştirilmiş süper bilgisayarları yıllar yerine aylar içinde teslim edebiliyor. Bu modülerlik, tek bir yıl içinde iki yeni konfigürasyonun ortaya çıkmasını sağladı; bunlar Google DeepMind ve giderek artan ölçüde dış kuruluşlardan gelen geri bildirimlerle şekillendi.

TPU 8tx: gizli çıkarım

TPU 8tx, sınır modelleri ya da tescilli modelleri ve otonom ajanları hassas verilerle birlikte çalıştıran hükümetler ve regüle sektörler için tasarlandı. Veriler normalde beklemede ve aktarım sırasında şifrelenir, ancak bir bilgisayar işlerken bellekte şifresinin çözülmesi gerekir. TPU 8tx, korumayı donanım katmanına taşıyor ve Google'a göre veriler ile model ağırlıkları etkin kullanım sırasında bile yalıtılmış kalıyor.

Sistem, TPU 8t ile aynı silikonu kullanıyor ve beşinci nesil AMD EPYC CPU ana bilgisayarlarıyla eşleştiriliyor. Ayrıca gerçek zamanlı akıl yürütme için özgün olarak geliştirilen düşük gecikmeli Boardfly ağını benimsiyor; Google, bunun TPU 8t'ye kıyasla 2 kata kadar daha düşük gecikme sağladığını ve neredeyse sıfır performans cezası getirdiğini söylüyor. Eğitim düzeyi hesaplama gücünü hızlı bir çıkarım ağıyla birleştirdiğinden, ekipler hassas verileri kümeler arasında taşımadan, tek bir sistem üzerinde modelleri özel verilerle ince ayarlayabilir, büyük modelleri daha küçük olanlara damıtabilir ve ajanları pekiştirmeli öğrenmeyle eğitebilir.

TPU 8i Max: bellek duvarına saldırı

TPU 8i Max farklı bir darboğaza odaklanıyor. Birçok yapay zeka ajanı aynı anda tüm bir kod tabanında ya da saatlerce video üzerinde çalıştığında, bellek bant genişliği hızla kısıtlayıcı hale geliyor. Google'ın yanıtı, iki düşük gecikmeli TPU 8i çipini tek bir pakette birleştirmekti; bu, tek başına bir 8i'nin hesaplama gücünü, SRAM ve HBM bant genişliğini iki katına çıkarıyor, böylece büyük iş yükleri veri beklerken duraksamıyor. İki kat silikon mevcut rack ayak izine sığdığından, Google veri merkezlerinin her metrekareye ve watta önemli ölçüde daha fazla işleme gücü yerleştirebileceğini söylüyor.

Google ayrıca donanım haberini son PyTorch duyurularıyla birlikte çerçeveladı; belirtilen hedef, TPU geliştirmeyi her PyTorch geliştiricisine açmak ve hızlandırıcıları genel amaçlı donanım kadar kolay kullanılır hale getirmek.

Neden önemli

Buradaki ana mesaj tempoda. On iki ayda dört amaca yönelik sistem, bir hızlandırıcı ailesi modüler hale geldiğinde Google'ın yeni iş yükleri için sistem düzeyinde bir zaman çizelgesiyle özelleşebildiğini ve yeni bir çip neslini beklemek zorunda kalmadığını gösteriyor. Bu hız, genel amaçlı GPU'lar ile amaca yönelik silikon arasında karar veren bulut alıcıları için önemli.

İki yeni sistem ayrıca kurumsal yapay zeka benimsemesinin en çok dile getirilen iki engelini hedefliyor: hassas verilerini açmaktan çekinen regüle sektörler için gizli hesaplama ve artık ham hesaplama gücünden daha çok uzun bağlamlı, çok ajanlı iş yüklerini sınırlayan bellek bant genişliği. Yaklaşık 100 dış müşterisiyle Google, TPU'ların artık yalnızca iç altyapı olmadığını, rekabetçi yapay zeka hızlandırıcı pazarında ciddi bir iş olduğunu sinyal ediyor.