· kaynak dev.to (home feed)
NVIDIA Dynamo 1.6.2, aşırı büyük prompt'ları HTTP 400'e çeviriyor ve SGLang için isteğe bağlı GC dondurma ekliyor
NVIDIA Dynamo 1.6.2, TensorRT-LLM'e gönderilen aşırı büyük prompt'ları önceki HTTP 500 yerine HTTP 400 istemci hatası olarak döndürüyor ve streaming duraksamalarını azaltmak için SGLang worker'larına isteğe bağlı bir garbage collector dondurma özelliği ekliyor.
Aşırı büyük prompt'lar artık HTTP 400 döndürüyor
NVIDIA, v1.6.1'in üzerine 2026-11-05 etiketiyle bir yama sürümü olarak Dynamo 1.6.2'yi yayınladı; bunu sürüm notlarının bir dev.to özetinden öğreniyoruz. Operasyonel etkisi en geniş olan düzeltme kapsamı dar bir değişiklik: TensorRT-LLM backend'ine gönderilen ve motorun max_num_tokens sınırını aşan bir prompt artık önceki HTTP 500 api_error yerine, invalid_request_error türüyle HTTP 400 olarak geri dönüyor — ve worker süreci reddedilme yüzünden kaybolmaksızın çalışmaya devam ediyor.
500 davranışı yeni değildi. v1.6.0 sürüm notları bunu, özellikle streaming olmayan /v1/messages isteklerini etkileyen, geçici bir çözümü olmayan bilinen bir sorun olarak listeliyordu. Hiçbir zaman başarılı olamayacak bir istek, geçici bir sunucu hatası olarak raporlanıyordu.
Durum kodu değişikliği neden önemli
4xx, iyi davranan bir istemciye, SDK'ya veya gateway'e isteği değiştirmeden yeniden göndermemesini söyler; 5xx ise bir yeniden denemenin başarılı olabileceği sunucu tarafı bir hatayı işaret eder. 5xx durumunda üç yeniden deneme politikası altında, tek bir aşırı büyük prompt frontend'e karşı dört denemeye dönüşür. dev.to yazısı — bir ölçüm değil — açıkça örnek amaçlı bir hesap yürütüyor: saniyede 50 aşırı büyük istek, saniyede 200 denemeye dönüşüyor ve her biri aynı şekilde başarısız olmaya mahkum.
Gözlemlenebilirlik de ikinci bir bedel ödüyor. Hata panoları ve SLO tükenme uyarıları genellikle 5xx'i servis ekibinin hatası, 4xx'i ise çağıran tarafın hatası olarak kaydeder; bu yüzden aşırı büyük prompt'lardan oluşan bir dizi, daha önce bir kesinti olmayan bir şey için nöbetçi ekibi sayfalama tetikleyebilecek bir api_error artışı olarak görünüyordu.
Yazı ayrıca sessiz yeniden denemelerin nelerde gizlendiğine işaret ediyor: varsayılan SDK yeniden deneme davranışı, gateway ve service mesh politikaları, 2xx olmayan her yanıtta yeniden kuyruğa alan kuyruk tüketicileri. Tavsiyesi, yükseltmeden önce istek başına deneme sayılarını istek kimliğine göre kaydetmek ve prompt'ları GPU worker'ını meşgul etmeden önce token bütçesini aşanları reddeden gateway tarafı bir ön kontrol eklemek.
Düzeltmeye rağmen süren bir uyarı var. Aşırı büyük prompt maddesi dışında, 1.6.2 v1.6.0'daki bilinen sorunları devralıyor; bunlardan biri, frontend'in worker'ın mesajı olmadan genel bir hata gövdesi döndürmesi. Doğru durum sınıfını bekleyin, mutlaka yararlı bir gövdeyi değil — ve hata metnini ayrıştıran istemci mantığı yazmayın.
SGLang worker'ları için isteğe bağlı garbage collector dondurma
İkinci değişiklik, SGLang decode ve aggregated worker'ları içindeki Python garbage collection'ı hedefliyor. Varsayılan olarak kapası ship edilen yeni bir --freeze-gc-after-init bayrağı — DYN_SGL_FREEZE_GC_AFTER_INIT ortam değişkeniyle de ayarlanabilir — sürüm notlarında uzun süre çalışan worker'lardaki streaming duraksamalarını azaltmanın bir yolu olarak tanımlanıyor ve yaygın olarak etkinleştirmeden önce bellek kullanımının bir kontrol worker'ıyla karşılaştırılması öneriliyor.\n dev.to yazarı, uygulamayı okumadığını belirtirken olası mekanizmayı taslaklıyor. Genel teknik standart CPython davranışına dayanıyor: döngüsel toplayıcı periyodik olarak izlenen container nesnelerini gezer ve büyük miktarda başlangıç durumu yüklemiş bir worker, her tam toplamaya uzun bir yürüyüş dayatır — açık stream'lere token besliyor olabilecek thread'lerde bir duraklama. CPython'un gc.freeze() fonksiyonu o anda izlenen her şeyi, sonraki toplamaların atladığı kalıcı bir nesle taşır. Maliyeti, dondurulan nesnelerin asla toplanmamasıdır; bu yüzden aralarında sonradan çöp haline gelen döngüler bellekte kalır — kontrol worker'ı karşılaştırmasının önemli olması bu yüzden.
Yayın için yazı, bayrağın havuz başına tek bir canary decode worker'ında etkinleştirilmesini ve en az bir tam trafik döngüsü boyunca saat başına yerleşik bellek artışının, p99 inter-token gecikmesinin ve bir duraklama eşiğini aşan boşluklu stream sayısının karşılaştırılmasını öneriyor. Ayrıca inter-token boşluk metriği olmayan ekiplerin önce bunu eklemesi gerektiğini savunuyor, çünkü aksi halde bayrağın etkisi görünmez olur.
İmaj ve bağımlılık güncellemeleri
Backend motor sürümleri v1.6.1'den değişmedi — SGLang v0.5.21, TensorRT-LLM v1.3.0rc29 ve vLLM v0.31.0 — değişim imaj düzeyinde. SGLang imajı Ubuntu'nun Python 3.12.3'ünden uv ile kurulmuş OpenSSL 3.5.9'lu CPython 3.12.16'ya geçiyor; sürüm notları bu değişikliği iş akışını etkileyen bir değişiklik olarak öne çıkarıyor: Ubuntu'nun libpython3.12 paketi olmadan, o imajdaki cuda-gdb artık Python betiklemesini desteklemiyor. Planner imajı distroless runtime tabanı üzerinde Python 3.13.18 slim'e geçiyor. Diğer yandan Mooncake, SGLang ve vLLM imajlarında 0.3.13.post1'den 0.3.14'e, PyNvVideoCodec 2.2.3'ten 2.2.4'e yükseliyor; pyasn1 en az 0.6.5 olacak ama 0.7'nin altında kalacak şekilde kısıtlanıyor, diffusers 0.40.0'a sabitleniyor ve libgnutls30t64 ile libbrotli1 OS paketleri yenileniyor.
Neden önemli
Dynamo üzerinde LLM servis eden ekipler için bu yama, yeni özellikler yerine bir sözleşme hatasını düzeltiyor ve bir ayar düğmesi ekliyor. Aşırı büyük prompt'ların 5xx kovasından çıkarılması, kaderi yeniden denemeleri ilk denemede durduruyor ve çağıran tarafa ait bir sorunu sunucu tarafı hata bütçelerinin dışında tutuyor. GC dondurma, uzun ömürlü SGLang worker'larının operatörlerine, bellek yakından izlenerek canary testinden geçirildiği sürece streaming duraksamalarına karşı hedefli bir kaldıraç veriyor. Ve SGLang imajındaki Python paketleme değişimi, yama sürümlerinin bile sessizce hata ayıklama runbook'larını bozabileceğinin bir hatırlatıcısı.
- #nvidia
- #llm-serving
- #tensorrt-llm
- #sglang
- #inference