· kaynak Hacker News – Front Page (native)
Anthropic, IPO yatırımcılarına Claude Mythos'un AMD GPU onboarding sürecini yaklaşık üçe indirdiğini anlattı
Anthropic, IPO yatırımcılarına Claude Mythos Preview'ün yapay zekâsını AMD MI355X GPU'larda çalıştırmak için gereken yazılım işini, daha önce altı ila on iki ay sürerken, neredeyse hiç insan müdahalesi olmadan yaklaşık üç günde tamamladığını söyledi.

Anthropic'in üç günlük portlama iddiası
Anthropic, halka arzından önce yatırımcılara, yapay zekâ modellerinden biri olan Claude Mythos Preview'ün bir Anthropic modelini AMD GPU'larda çalıştırmak için gereken yazılım işini yaklaşık üç günde, şirketin "neredeyse hiç insan müdahalesi olmadan" diye tanımladığı bir şekilde tamamladığını bildirdi. Sözleri aktaran Tom's Hardware'e göre, aynı iş geçmişte altı ila on iki ay sürüyordu.
Bu karşılaştırma, Anthropic'in kurucu ortağı ve baş hesaplama sorumlusu Tom Brown'dan geldi; Brown, yatırımcılara bu işin geleneksel versiyonunun "onlarca mühendisten oluşan bir ekip" gerektirdiğini söyledi.
Üç gün gerçekte neyi kapsıyor
Kapsam, manşetteki sayının ima ettiğinden daha dar. Tom's Hardware'e göre üç günlük süre, tek bir Anthropic modelinin AMD'nin MI355X GPU'ları üzerindeki prompt işleme aşamasını — yani modelin çıktı üretmeden önce girdiyi işlediği fazı — kapsıyor ve Anthropic'in "faydalı bir performans seviyesi" olarak adlandırdığı düzeyde gerçekleştirilmiş. Mythos'un bu iş için kernel'lerin "neredeyse yüzde 100'ünü" portladığı veya yazdığı belirtiliyor.
Ayrıca bu, yayımlanmış bir teknik makale değil, IPO sunumunda yapılmış bir iddia. Mevcut kanıtlara göre bu rakam bağımsız olarak doğrulanmış değil ve "faydalı" gibi terimler tanımlanmadan bırakılmış.
Kernel'ler ve CUDA hendeği
Kernel'ler, bir modelin hesaplamasını belirli bir yonga ailesine eşleyen düşük seviyeli programlardır ve onları iyi yazmak, yapay zekâ ekiplerinin Nvidia donanımını varsayılan seçenek haline getirmesinin başlıca nedenlerinden biridir: Yıllar boyunca biriken CUDA kodu ve araçları satıcı değiştirmeyi pahalı hale getiriyor. Tom's Hardware, Anthropic'in sonucunu bu hendeğin aşındığına dair bir kanıt olarak sunuyor. Bir yapay zekâ sistemi satıcıya özgü kodun neredeyse tamamını aylar yerine günler içinde üretebiliyorsa, AMD'ye — ya da büyük ihtimalle diğer hızlandırıcılara — geçişin yazılım maliyeti keskin biçimde düşüyor.
Çok satıcılı hesaplama filosu
Portlama sonucu daha geniş bir stratejinin parçası. Anthropic modellerini halihazırda birçok yonga ailesinde çalıştırıyor — Nvidia ve AMD GPU'ları, Google'ın TPU'ları ve AWS Trainium — ve Tom'da göre filoyu "tek bir ikame edilebilir hesaplama havuzu" olarak yönetiyor. Brown, birden fazla donanım satıcısını destekleme konusundaki erken kararı "geleneksel olmayan bir bahis" olarak nitelendirdi.
Rapora göre bu bahis iyi eskidi: Google'ın TPU'ları artık PyTorch'ta geliştirilen yapay zekâ modellerini doğal olarak çalıştırabiliyor ve Meta bu yongaları üretimde kullanıyor.
Neden önemli
İki şey söz konusu. Birincisi, iddia bir yatırımcı sunumunun dışında da doğrulanırsa, doğrudan Nvidia'nın yapay zekâ hesaplamasındaki hakimiyetini ayakta tutan geçiş maliyetlerine saldırıyor. Portlaması kolaylaşan donanım, fiyat karşılaştırması yapması kolaylaşan donanım demek; bu da büyük eğitim ve çıkarım (inference) filoları kuran veya satın alan herkes için önemli — IPO ölçeğinde harcama yapmaya hazırlanan Anthropic'in kendisi dahil.
İkincisi, bu, yapay zekânın kendi altyapısını otomatikleştirmesine dair bir veri noktası. Kernel portlama, uzun süre otomasyona dirençli olduğu düşünülen uzmanlaşmış sistem işlerinden biriydi. Bir laboratuvarın, modelinin yeni yongalarda çalışmasını sağlayacak kodu yazmak için kendi modelini kullanması, kendini güçlendiren bir döngü yaratıyor: daha ucuz portlar donanım seçeneklerini genişletiyor, daha geniş donanım seçenekleri de otomatik portlamanın değerini artırıyor.
Uyarılar da aynı ağırlığı hak ediyor — tek bir iş yükü, tek bir model, tanımsız bir performans eşiği ve hisse satın almaya davet edilen insanlara yapılmış bir iddia. Ama indirim uygulansa bile, üç gün ile çok aylık bir mühendislik projesi arasındaki fark, ispat yükünü artık CUDA hendeğinin sağlam olduğunu savunan herkesin omzuna bindirecek kadar büyük.
- #anthropic
- #amd
- #nvidia
- #gpu
- #cuda
İlgili yazılar
- Nvidia, Jensen Huang sonrası döneme AMD, özel yongalar ve aşınan CUDA hendeğiyle giriyor
- PolyStrata, on iki büyük dil modelini GPU ve RAM arasında paylaştırarak tek bir bilgisayarda çalıştırılabileceğini iddia ediyor
- Nvidia'nın Jensen Huang'sız ilk bilançosu casusluk iddiası tepkileri ortasında açıklanıyor