deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak dev.to (home feed)

Qwen-4-Max: Alibaba'nın tek GPU ile sunuma uygun 15B açık ağırlıklı modeli

dev.to'da yayınlanan bir uygulama rehberine göre Alibaba'nın Qwen-4-Max'ı, Apache 2.0 lisanslı, 15 milyar parametrelik bir model ve OpenAI uyumlu API sunan bir vLLM container'ı ile tek bir A100 üzerinden servis edilebiliyor.

Qwen-4-Max: Alibaba'nın tek GPU ile sunuma uygun 15B açık ağırlıklı modeli

Tek GPU'ya göre boyutlandırılmış açık ağırlıklı bir sürüm

Yapay zeka altyapı mühendisi Naveen Malothu'nun dev.to'da yayınladığı uygulama rehberine göre Alibaba'nın DAMO Academy'si, Apache 2.0 lisansıyla yayınlanan 15 milyar parametrelik açık ağırlıklı bir dil modeli olan Qwen-4-Max'ı piyasaya sürdü. Gönderiye göre model, çeşitli benchmark'larda GPT-4'e yakın sonuçlar alırken; 40 GB belleğe sahip bir A100 gibi tek bir üst seviye GPU'dan ya da mütevazı bir çok düğümlü kümeden servis edilecek kadar küçük kalıyor.

Sürümde neler var

Malothu'ya göre paket, model ağırlıklarını, tokenizer dosyalarını ve bir vLLM çıkarım sunucusu içeren bir Docker image'ını barındırıyor. Bu sunucu, OpenAI uyumlu bir REST API'si açığa çıkarıyor; yazar, bunun modeli OpenAI'nin endpoint yapısına göre yazılmış pipeline'lara kolayca yerleştirilebilir kıldığını savunuyor. Model ayrıca Hugging Face transformers kurallarını izliyor, yani Hub'dan çekilebilir ya da yerel bir checkpoint'tan yüklenebilir. Checkpoint yaklaşık 30 GB ve container ilk kez başladığında indiriliyor.

Dağıtım ve ayarlama yolu

Gönderide anlatılan iş akışı bilinçli olarak geleneksel. Tek GPU'lu bir container 8000 portunu açığa çıkarıyor ve herhangi bir OpenAI SDK istemcisi, base URL'sini yer tutucu bir API anaarıyla yerel sunucuya yönlendirerek metin üretebiliyor. Üretim ortamı için Malothu Kubernetes manifest'ları sunuyor: bir LoadBalancer Service arkasında tek bir NVIDIA GPU talep eden bir Deployment ve ortalama istek gecikmesi 200 ms'yi aştığında dörde kadar ek GPU özellikli pod'ları devreye sokan bir HorizontalPodAutoscaler.

Alan uyarlaması, tam ince ayar yerine LoRA adapter'larıyla ele alınıyor. Gönderi, PEFT kütüphanesiyle bir tane oluşturmayı, attention projection katmanlarını hedeflemeyi ve ardından tamamlanan adapter dizinini sunum container'ına başlatma sırasında bağlamayı gösteriyor.

Kendi bildirdiği rakamlar ve bir nüans

Yazar kişisel sonuçlara atıfta bulunuyor: bir saat altında prototiplenmiş, sözleşme inceleme görevlerinde geri çağırmayı yaklaşık yüzde 12 artıran bir hukuk alanı adapter'ı ve trafik yoğunluklarında GPU harcamasını yaklaşık yüzde 30 azaltan gecikme temelli bir autoscaler. Bunlar tek bir uygulayıcının rakamları ve bağımsız olarak doğrulanmış değil.

Gönderi kendi konumlandırmasını da nüanslandırıyor. Giriş bölümü modeli GPT-4'in erişimine yakın bir yere koyarken, yazarın kapanış değerlendirmesi 15B'lik bir modelin GPT-4 ile birebir eşleşmediğini ve talepkar akıl yürütme ya da ağırlıklı olarak erişim gerektiren iş yüklerinin yine de bir yetenek sınırına takılacağını kabul ediyor. Büyük ilk indirme, kısıtlı ağ bağlantılarında sorunlu olarak işaretleniyor ve checkpoint'ın dahili bir object store'a yansıtılması bir çözüm olarak öneriliyor.

Neden önemli

Buradaki önem, mutlak yetenekten çok dağıtım zarfında. Sürüm anlatıldığı gibiyse, yaklaşık 30 GB VRAM kaplayan, OpenAI API lehçesi konuşan ve container'laştırılmış bir sunum yığınıyla gelen Apache 2.0 lisanslı bir model, küçük ekiplere çok GPU'lu instance'lar kiralamadan veya tescilli API koşullarını kabul etmeden yetenekli üretim çalıştırma imkanı veriyor. İzin veren lisans, modeli ticari SaaS ürünlerine dahili uyumluluk soruları olmadan gömmeye olanak tanıyor ve açık ağırlıklar, kapalı API'lerin dışarıda bıraktığı tokenizer değişiklikleri, budama ve adapter iş akışlarının önünü açık tutuyor.

Bir uyarı geçerli: Hikaye şu anda tek bir topluluk gönderisine dayanıyor ve benchmark çerçevesi başta GPT-4'e yakın, yazarın kendi hükmünde ise GPT-4'ün altında arasında değişiyor. Ekipler, modele karar vermeden önce kendi iş yükleriyle test etmeli.

  • #alibaba
  • #qwen
  • #open-source
  • #llm
  • #kubernetes

İlgili yazılar