LLM jüri modelleri, görev yeniden yapılandırılmadığı sürece yapay zekâ klinik notlarındaki eksikleri göremiyor

Eksikler, önemli olan hata türüdür

Ortam (ambient) yapay zekâ sekreterleri — görüşmeyi otomatik olarak klinik nota dönüştüren sistemler — halihazırda günlük kullanımda ve yayımlanan denetimler en yaygın kusurları üzerinde birleşiyor: eksiklik. Görüşme sırasında saptanan bilgiler nota hiç girmiyor. Standart güvence önlemi bir LLM jüri modeli: ikinci bir model taslağı görüşme dökümüyle karşılaştırıp sorunları işaretliyor. 31 Ağustos 2026'da arXiv'e sunulan ve Hacker News'in ana sayfasına çıkan bir ön baskı, bu jürilerin eksikleri gerçekten yakalayıp yakalayamadığını soruyor ve verdiği cevap hayır — görev her zamanki gibi kurulduğu sürece.

Gerçek cevap anahtarı olan bir kıyas seti

Makale, mevcut kamuya açık derlemlerin bu soruyu yanıtlayamadığını savunuyor; çünkü hekimlerin yazdığı referans notlar ile dökümler arasında temiz bir gerçeklik ölçütü kalmayacak kadar fark var. Yazarlar bunun yerine denetlenmiş bilgi formlarından 500 tek hatalı not çifti oluşturdu: belirli bir bilginin kesinlikle eksik olduğu 298 not ve eklenmiş ya da değiştirilmiş içerik barındıran 202 kontrol notu. Ardından sekiz jüri tasarımını eşleşik ayırt etme yöntemiyle değerlendirdiler — jürinin hatalı notu temiz ikizinin altında sıralayıp sıralamadığı, 0.5'in yazı tura atmaya denk geldiği ölçüm.

Jüriler varlığı doğruluyor, yokluğu değil

Çalışmanın belgelediği uçurum çarpıcı. Eklenmiş ya da değiştirilmiş içerikte sekiz tasarım 0.79 ile 0.94 arasında skor alıyor. Eksiklerde ise 0.50 ile 0.63'e düşüyorlar — en iyisinde ancak rastgeleden biraz iyi. Jürinin bir çift değil tek not gördüğü tek-not modunda hiçbir tasarım, eksikleri kusursuz notlardaki sorunları işaretlediğinden daha güvenilir biçimde yakalayamadı; yani tespit sinyali yanlış alarm gürültüsünden ayırt edilemezdi.

Bariz çareler işe yaramadı. Makaleye göre prompt'ları yeniden ifade etmek, birden fazla çalışma arasında oylama yapmak ve GEPA prompt optimizasyonu her jürinin çalışma noktasını duyarlılık-yanlış alarm eğrisi boyunca kaydırdı ama hiçbiri eksik bilgilerin kullanılabilir bir tespitini üretmedi.

Görevi yeniden yapılandırmak işe yarıyor

Tespiti geri kazandıran şey görevin biçimini değiştirmek oldu: önce dökümün ortaya koyduğu bilgileri listele, sonra notu her biri için kontrol et. Bu yapının iki bağımsız uygulaması birbiriyle ödünleşim içinde:

• Her saptanmış bilgiyi tek tek doğrulayan, bilgi başına çalışan bir pipeline. Her işaret, %2.7 yanlış alarm oranında hangi bilginin eksik olduğunu ve boşluğun ne kadar ciddi olduğunu belirtiyor.
• İki adımı tek çağrıda yapan, GEPA ile geliştirilmiş bir prompt. Pipeline'dan daha fazla eksik tespit ediyor — %24.6'ya karşı %36.9 (p=0.002) — %6.2 yanlış alarm oranında ve not başına onda bir maliyetle.

Yazarlardan biri olan bir hekim 70 maddeyi doğruladı ve iki yolun ayrıştığı on vakanın tamamında pipeline'dan yana oy kullandı (p=0.002). Yazar olmayan ikinci bir klinisyen ciddiyet ölçeğini kör olarak puanladı ve orijinal puanlamalarla bir ciddiyet derecesi içinde örtüştü.

Satıcı notları ve inatçı bir uç vaka

Makale yöntemleri, eşlik eden bir sayımdan alınan gerçek satıcı notlarında da test etti. Kıyas setinde kalibre edilen hiçbir eşik doğrudan aktarılamadı, ancak tek çağrılı yöntemin yeniden kalibre edilmiş sürümü, sekiz özgün tasarımın en iyisinden yarı yanlış alarm oranıyla yine de daha fazla eksik tespit etti. Geri kazanılmış her iki yolda da süren bir başarısızlık vardı: bilgisi notun başka bir yerinde yeniden ifade edilen eksikler. Yazarlar kıyas setini, prompt'ları ve değerlendirmeleri yayımladı.

Neden önemli

Eksiklik ortam sekreterlerinin en sık yaptığı hata türüyse ve LLM jüriler çıktılarının varsayılan kalite kapısıysa, klinik olarak anlamlı sistematik bir hata sınıfı gözden geçirmeye fiilen fark ettirilmeden süzülüyor demektir — jüriler gürültülü olduğundan değil, her zamanki biçimiyle kurulan denetimin yokluğu hiç kaydedemediğinden. Makalenin pratik dersi genellenebilir: olması gerekenlerin bağımsız bir dökümünü çıkar — burada dökümün ortaya koyduğu bilgiler — ve denetimi o listeye göre yap. Özetleme, çeviri ya da kod incelemesi için olsun, bir modelin çıktısını başka bir modelle kontrol eden her pipeline, kontrol denetimi kontrol edilen metinden başka bir şeye sabitlenmedikçe aynı kör noktayı miras alır.