Makale, LLM araç çağrısı hatalarını yanlış değerler, denetlenmemiş koşullar ve kaçırılan niyetle ilişkilendiriyor

GitHub'da yayımlanan ve Hacker News'in ana sayfasına yükselen bir mühendislik makalesi, bir dil modeli bir aracı yanlış kullandığında hatanın üç kök nedenden birine dayandığını savunuyor: yanlış bir değer, doğrulanmamış bir ön koşul veya yanlış anlaşılmış bir niyet. Jang-woo-AnnaSoft adıyla yazan yazar, bu taksonomiyi somut bir mekanizmayla eşleştiriyor: maddeleri çıkarımla değil aramayla çözülen bir yürütme öncesi kontrol listesi.

Yürütmeyi yanlış giden üç yol

Makaleye göre araç çağrıları üç farklı şekilde başarısız oluyor. Yanlış yürütme, uydurulmuş girdileri kapsıyor — modelin aldığı değil uydurduğu bir hesap numarası veya kimlik. Talimatsız yürütme, yetki, zamanlama veya koşulların — örneğin bakiyenin yeterli olup olmadığının veya alıcının var olup olmadığının — kontrol edilmeden çalıştırılan çağrıları kapsıyor. Hedeften sapmış yürütme ise sözdizimsel olarak doğru olan ama kullanıcının gerçekte istediğiyle eşleşmeyen çağrıları kapsıyor.

Niyet hatası kendine özgü bir nüansa sahip. Araç adları etikettir, yetenek değil: bir sağlayıcı bir eylemi turn_off_light olarak adlandırabilir, bir diğeri set_device_power diyebilir; light_control adlı bir araçsa belki de yalnızca parlaklığı ayarlıyor. Makale, araç seçiminin adlar arasındaki yüzeysel benzerliğe değil, aracın üretebileceği durum değişikliğine göre yapılması gerektiğini savunuyor.

İnsan onayı neden işlemez hale geliyor

Makalenin merkezindeki gözlem formlarla ilgili. Değerleri doldurmak eskiden insanın işiydi; artık model formu hazırlıyor ve kişi imzalıyor. Bu, insanın yanıtladığı soruyu “bu doğru mu?”dan “devam edelim mi?”ye dönüştürüyor — ve ikincisi otomatik onayı davet ediyor.

Sorun kağıt üzerinde görünmez. Aranıp bulunmuş bir değer ile uydurulmuş bir değer işlendiğinde aynı görünür; hiç kontrol edilmemiş bir koşulsa hiç görünmez. Yazar, bir şey eksikken sormayı söyleyen yaygın prompt talimatının kaynağında başarısız olduğunu yazıyor; çünkü ne hakkında soru soracağına modelin kendisi karar veriyor — ve fark etmediği bir boşluk hakkında soru soramıyor. Var olanla ilgili güven talep edebilirsiniz; olmayanın farkındalığını talep edemezsiniz — deneyimli cerrahların hâlâ kontrol listeleriyle çalışmasının nedeni de bu.

Slotlar, bilinmeyenler ve bir arama sırası

Önerilen çözüm iki terim tanımlıyor. Slot, yürütmeden önce onaylanması gereken tek bir kalem. Bilinmeyen, belirlenmiş tüm kaynaklar kontrol edildikten sonra hâlâ boş olan slot. Makalenin kilit hamlesi, hesaplamanın hedefini yürüt-yürütme kararı yerine bilinmeyenler listesi yapmak; yürütme daha sonra yalnızca kayıtlı bir kararı temel olarak kabul etmeli.

Kontrol listesi, her maddeyi kimin yanıtlayabileceğine göre bölünüyor. Sabit bölüm her yürütmeye uygulanıyor: hangi araç, zamanlama ve koşullar buna izin veriyor mu, kullanıcı bu eylemi ne diye adlandırıyor. Sağlayıcı bölümü araç başına değişiyor: zorunlu alanlar, türler ve biçimler, yasaklı veya ek onay gerektiren koşullar ve aracın ürettiği durum değişikliği. Kullanıcı bölümü ortama göre değişiyor: niyet, mevcut bağlam, yürütme sınırları ve tercihler.

Her slota belirlenmiş bir arama kaynağı verilir ve sırayla aranır: kullanıcının yanıtı, talimat, ön ayarlı değerler, gözlemlenen değerler, ardından önceki durum. Yazar bunun ilk eşleşmede duran bir sıra olduğunu, güven sıralaması olmadığını vurguluyor. Hâlâ boş olan her şey bir bilinmeyendir ve gereken bilinmeyenler kullanıcıya gider — hiçbir çıkarım zorunlu bir değeri doldurmaz. Hedef liste olduğunda slotlar bağımsızlaştığı için aramalar ek model çağrıları yerine bellek karşılaştırmaları olarak paralel yürür ve seri olarak ileri geri soru sormak tek bir gidiş-dönüşe dönüşür.

Kara liste değil, beyaz liste

Makale, modele ara ama çıkardığını dışla demek işe yaramaz diye savunuyor: alınan ve uydurulan değerler dışarıdan ayırt edilemez ve bunları sonradan sınıflandırmak da başlı başına bir çıkarımdır. Çözüm, izin verilen kaynakları beyaz listeye almak ve her değerin nereden geldiğini kaydetmektir. Aynı mantık kontrol listesinin kendisine de uygulanır — modele hiçbir şeyi atlamamasını söylemek yerine onaylanması gereken her şeyi tek tek sıralayın.

Neden önemli

Ajan sistemleri kuran uygulayıcılar için bu taksonomi bir hata ayıklama kılavuzu işlevi görüyor: her hata sınıfı belirli bir düzeltmeye işaret ediyor. Uydurulmuş değerler arama zincirini; atlanan koşullar sağlayıcı kontrol listesindeki boşlukları; yanlış araç seçimleri doldurulmamış niyet slotlarını ele veriyor. Dikkat çekici olan, gereken verilerin çoğunun zaten araç açıklamalarında ve girdi şemalarında bulunması; yani bu şema yeni bir model yeteneği değil, tesisat işi. Daha geniş dersse bir yönetişim dersi: model formu hazırladığında insan onayı tıkla-geçtir seviyesine düşüyor ve denetimi daha başa — neyin sorulacağına — taşımak, son onay düğmesinden daha önemli. Bir uyarı geçerli: bu ampirik bir çalışma değil, bir mühendislik argümanı ve makale hiçbir kıyaslama sonucu raporlamıyor; ekipler bunu kanıtlanmış bir sonuç değil, test edilecek bir çerçeve olarak görmeli.