Duke ve Tsinghua'nın PlaidQ modeli, diffusion kod üretimini tek adıma indiriyor

Kod için bir diffusion dil modeli

Duke Üniversitesi ve Tsinghua Üniversitesi'nden araştırmacılar, sahaya çıkmış neredeyse tüm kod asistanlarının kullandığı soldan sağa token decoding yerine, kodu bir diffusion süreciyle yazan bir dil modeli geliştirdi. Günler sonra yayımlanan bir dev.to yazısına göre, gönderinin 3 Eylül olarak tarihlediği ve arXiv:2609.04531 olarak listelediği makale temel bir soruyu yanıtlıyor: bir diffusion dil modeli tek bir adımda çalışan bir program üretebilir mi? Yanıt evet — ama büyük bir kalite yıldızıyla.

PlaidQ nasıl çalışıyor

Autoregressive modeller tek seferde bir token üretir ve her biri öncesindeki her şeye koşulludur; dolayısıyla üretim süresi çıktı uzunluğuyla birlikte büyür. PlaidQ bu düzeni tersine çeviriyor. Gönderide anlatıldığı gibi, model bir dizinin tamamını 16 boyutlu sürekli bir latent uzayında temsil ediyor, onu Gaussian noise ile bozuyor ve çift yönlü attention'a sahip 0.6 milyar parametrelik bir Qwen3 gövdesiyle bu gürültüyü kaldırmayı öğreniyor. Her konum eşzamanlı olarak ve her iki yönden gelen bağlamla rafine edildiği için, dizinin tamamı seri şekilde değil paralel olarak üretilebiliyor.

Temel katkı adım distilasyonu. Teacher olarak da bilinen temel modelin dizide 512 denoising geçişine ihtiyacı var. Ekip bu süreci 16 adımlı bir student'a damıttı, ardından tek geçişte denoise eden bir student'a kadar ilerledi.

Bildirilen sonuçlar

Gönderi HumanEval ve MBPP üzerindeki sonuçları raporluyor:

• 512 adımlı teacher: HumanEval pass@1 65.85, pass@10 78.05, MBPP pass@1 72.30.
• 16 adımlı student: HumanEval pass@1 63.41, pass@10 80.73, MBPP pass@1 70.15.
• 1 adımlı student: HumanEval pass@1 7.07, pass@10 15.30, MBPP pass@1 8.20.

İki bulgu öne çıkıyor. Birincisi, 16 adımlı student, yaklaşık 32 kat daha az denoising adımı kullanarak teacher'ına yaklaşık eşit kalıyor ve HumanEval pass@10'da teacher'ını geride bırakıyor — 80.73'e karşı 78.05 — yazarlar bunu, agresif adım azaltmanın salt bir kalite ödünleşmesi olmadığının kanıtı olarak okuyor. İkincisi, tek adımlı model kullanılabilir bir araç olmaktan çok bir fizibilite sonucu: bazen çalıştırılabilir kod üretiyor, ancak HumanEval'de 7.07'lik pass@1, onu çok adımlı varyantların oldukça altına yerleştiriyor.

Neden önemli

Diffusion tabanlı üretim kaliteyi birkaç adımda koruyabilirse, autoregressive decoding'in yapısal bir maliyetine saldırıyor: çıktı uzunluğuyla ölçeklenen gecikme. Dizi boyunca paralel üretim, uzun tamamlamaları, tüm fonksiyon düzenlemelerini ve fill-in-the-middle görevlerini sunması ciddi ölçüde daha ucuz hale getirebilir; bu da doğrudan yapay zekâ programlama araçlarıyla ilgili.

Sonuç ayrıca kodun soldan sağa yazılması gerektiği varsayımını da aşındırıyor. Çift yönlü denoising, modele her token'ı hâlâ oluştururken genel bağlam veriyor; bu da sonraki satırların çoğu zaman öncekileri kısıtladığı kod için uygun olabilir.

Gerçek uyarılar da var. Buradaki tüm rakamlar makalenin kendisinden değil, makaleyi özetleyen bir blog gönderisinden geliyor; bu yüzden bunlara 'bildirildiği şekliyle' yaklaşın. HumanEval ve MBPP, modern değerlendirme setlerinden daha kolay olan küçük ve eskimiş benchmark'lar. Gövde 0.6 milyar parametrelik bir model ve frontier ölçeğinden çok uzak; öne çıkan tek adımlı yetenek ise pratik kalitenin hâlâ epey altında.

Sırada ne var

Yazı, ekibin sonraki adımlarını listeliyor: tek adım kalitesini iyileştirmek, değerlendirmeyi daha fazla kod benchmark'ına genişletmek ve diffusion'ı autoregressive decoding ile birleştiren hibritleri keşfetmek. Companion kodun PlaidQ adıyla GitHub'da mevcut olduğu bildiriliyor. Şimdilik pratik çıkarım 16 adımlı sonuç — küçük bir modelin, çok daha yavaş teacher'ıyla rekabetçi kalırken tam programları sabit ve az sayıda geçişte üretmesi.