GLM-5.3'ü 607,8 tok/s hızyla sunmak: NVIDIA, 753B parametreli modeli iki DGX Station'a paylaştırıyor

Kurulum ne yapıyor

NVIDIA Developer Blog, şu anda Hacker News ana sayfasında yer alan, GLM-5.3 modeli tek bir makineye sığmadığında yerel donanımda nasıl sunulacağını gösteren bir eğitim yayımladı. Reçete, her biri bir GB300 GPU'ya sahip iki DGX Station'ı doğrudan bir ConnectX-8 RDMA hattı üzerinden eşleştiriyor ve tensor parallelism 2 olarak ayarlanmış vLLM'i çalıştırarak modelin tensor'larını her iki GPU'ya bölüyor. Her iki makine de her isteği hesaplıyor, ancak yalnızca A Station'ı (rank 0) OpenAI uyumlu API'yi açığa çıkarıyor; B Station'ı kendi API sunucusu olmayan bir worker çalıştırıyor. Anlatım, o tek uç noktadan saniyede 607,8 token'lık bir başlık rakamı rapor ediyor; bu ölçüm, sunum, istek gönderme ve eşzamanlı yük altında davranışı test etmeyi kapsayan bir dizinin parçası olarak yapılıyor.

Neden tek GPU artık yetmiyor

Model, NVIDIA'nın GLM-5.3 NVFP4 derlemesi; toplam 753 milyar parametreli ve token başına 40 milyar parametresi etkinleşen Z.ai mixture-of-experts modelinin nicemlenmiş bir sürümü. Yönlendirme herhangi bir token'ı herhangi bir expert'e gönderebildiği için, seyrek etkinleştirme token başına hesap yükünü azaltıyor ama bellek ayak izini azaltmıyor: her ağırlık bellekte kalmak zorunda. Yaklaşık 464 GB olan checkpoint, tek bir GB300'deki 252 GB HBM3e'yi rahatça aşıyor; bu yüzden eğitim onu iki Station'a yayıyor ve CPU weight offload'u tamamen kapatarak tüm ağırlıkları GPU belleğinde tutuyor.

Kablolama ve uçuş öncesi kontroller

İki Station önce kablolaniyor ve her iki doğrudan ray üzerinde GPU bellekli bir RDMA testi içeren NVIDIA'nın Connect Two DGX Stations playbook'u ile doğrulanıyor. Ardından bir ray seçiyorsunuz (yazıdaki örnekte cx8r1), o ray üzerindeki RDMA aygıtını (mlx5_1) ve her makinenin IPv4 adresini not ediyorsunuz ve bu değerleri düğüm rank'ıyla birlikte sonraki komutların kaynak olarak kullandığı bir ortam dosyasına kaydediyorsunuz. Her şey başlatılmadan önce rehber bir dizi kontrol çalıştırıyor: bağlantı durumu, ray boyunca MTU-9000 jumbo-frame ping'leri ve zaman senkronizasyonu. Yazıya göre bunlar, kablolama ve adresleme sorunlarının opak NCCL timeout'lara dönüşmeden önce erken yakalanması için var; sağlıklı bir bağlantı 400000 Mb/s rapor ediyor.

Sabitlenmiş yazılım, kopyalanan ağırlıklar

Tensor parallelism her iki rank'ın aynı yazılımı çalıştırmasını gerektirdiğinden, rehber vLLM container imajını digest ile (arm64 üzerinde v0.30.0) ve checkpoint'i (nvidia/GLM-5.3-NVFP4) revision ile sabitliyor. Yaklaşık 464 GB'lık indirme 1 Gb/s ile yaklaşık bir saat, 10 Gb/s ile yaklaşık altı dakika sürüyor; ardından her makinenin diskte tam bir kopyaya sahip olması için SSH üzerinden ikinci Station'a rsync'leniyor. Gerçek bölümükleştirmeyi model yüklenirken vLLM yapıyor ve ağırlıkları iki GPU'ya bölerek ek bir nicemleme yapmıyor.

Başlamadan önce ne gerekiyor

Ön koşullar donanımın ötesine geçiyor: Linux çalışan iki GB300 DGX Station, her ikisinde de aynı kullanıcı adıyla SSH ve sudo erişimi, Docker ve NVIDIA Container Toolkit (DGX yazılım yığınında önceden kurulu), container registry'ye, Hugging Face'e ve paket depolarına giden erişim ve makine başına checkpoint, container imajı ve geçici dosyalar için en az 464 GB boş disk. Lisans tarafında kullanıcılar NVIDIA Open Model Agreement'i ve GLM-5.3'ün özgün koşullarını kabul etmeli; SPEED-Bench ise ayrı bir NVIDIA değerlendirme veri kümesi lisansına tabi. Benchmark prompt'ları gated cais/hle Hugging Face veri kümesinden geldiği için bir okuma erişimi token'ı gerekiyor. Bir eşlik eden video, hazırlıktan inference, benchmark ve kapanışa kadar aynı iş akışını ele alıyor.

Neden önemli

Açık sınıf-öncüsü modeller, tek bir hızlandırıcının — 252 GB HBM3e'li olsa bile — onları tutamayacağı eşiği aştı. Alışılmış yanıtlar, gecikmeye mal olan CPU offload ya da bütçelere mal olan çok düğümlü bir cluster. Bu eğitim üçüncü bir yolu gösteriyor: iki iş istasyonu sınıfı makine, tek bir doğrudan RDMA hattı ve tek bir OpenAI uyumlu uç nokta arkasında 753B parametreli bir modeli yüksek verimle sunan stok vLLM. Büyük mixture-of-experts modellerini kendi sunucularında barındıran ekipler için değer, benchmark rakamından çok altındaki tekrarlanabilir taban: sabitlenmiş imaj, sabitlenmiş model revision'ı ve açık ağ doğrulaması — ve tek bir GPU'ya artık sığmayan diğer checkpoint'lere de aktarılması beklenen bir yaklaşım.