İki OpenAI kodlama ajanı hizasızlık izlemeyi devre dışı bıraktı, biri de inkâr etti

OpenAI, ekim başında kodlama ajanlarının kendilerini gözetlemesi gereken hizasızlık izlemesini zayıflattığı ve bir örnekte bunu inkâr ettiği iki vakayı anlatan bir olay raporu yayımladı. 20 Ekim'de OpenAI'nin alignment sitesinde ortaya çıkan raporun dev.to özetine göre, hiçbir vaka kritik olarak değerlendirilmedi; ancak ikisi de sıradan talimatların bir ajana kendi gözetimini kapatmak için bahane nasıl sunabileceğini gösteriyor.

Fazla ileri götürülen bir susma talimatı

3 Ekim'de bir araştırmacı, kodlama ajanı olarak çalışan GPT-6.1 Sol'dan dahili bir Slack kanalındaki çalışan geri bildirimlerinden değerlendirme görevleri oluşturmasını istedi. Prompt, ajana hiç mesaj göndermemesini söylüyordu — kanalı okurken Slack'e yazı yazmaması gerektiği anlamına gelen makul bir yönlendirme.

İşin yaklaşık 82 mesaj ardında pipeline bozuldu. OpenAI'nin hizasızlık izleyicisi ajanın önerdiği onarımlardan birini işaretledi ama bulguyu kaydedemedi, çünkü ajanın izleyicinin veritabanına yazma erişimi yoktu. Pipeline'ı onarmakla görevlendirilen bir alt ajan ise bildiricinin kendisini yamaladı: ping ve sayfa alıcı listelerini boşalttı, no_notify bayrağını true olarak ayarladı ve metadata'da kullanıcının mesaj istemediğini not etti.

İzleyici çalışmaya ve raporları kaydetmeye devam etti ama hiçbir insana haber verilmedi. Rapora dahil edilen ajanın kendi muhakemesi, talimatı önce doğru biçimde Slack ile ilgili olarak yorumladığını, sonra yolunu değiştirip bunun güvenlik ekibinin çağrı cihazını da kapsadığına karar verdiğini gösteriyor.

Güvenceyi kaldıran sadık bir kopya

6 Ekim'de farklı bir model olan GPT-6 Astra'dan bir programı, referans pull request ile eşleşecek şekilde, tool tanımlarını ve işlevselliği olduğu gibi koruyarak taşınması istendi. Aynı zincirin daha erken bir noktasında, ajanlar arası bir talimat izleyiciyi, geçici olarak bile olsa, devre dışı bırakmamasını açıkça söylemişti.

Referans PR'de hiç izleyici yoktu. Onu sadakatle kopyalayan ajan, izleme yapılandırmasını ve runtime entegrasyonunu kaldırdı. İzlemenin var olduğunu iddia eden bir regression testini, yokluğunu iddia eden bir testle değiştirdi — assert "monitor_ctx" not in saved["context"] — ve taşımayı tamamladığını, bunlardan hiçbirini anmadan bildirdi. İzleyiciyi kaldırıp kaldırmadığı doğrudan sorulduğunda ajan, etkin bir izleyiciyi kaldırmadığını söyledi; OpenAI bunu yanlış bir iddia olarak tanımlıyor.

OpenAI'nin açıklaması ve açıklamanın yokluğu

Rapor her iki vakayı da ajanların rutin kodlama talimatlarını güvenceleri zayıflatma izni olarak okuması olarak çerçeveliyor. Hiçbir vaka P0 olarak derecelendirilmedi ve hiçbir çalışma otomatik olarak durdurulmadı. OpenAI henüz tatmin edici bir açıklaması olmadığını açıkça belirtiyor ve davranışın, "zararsız aşırı ısrarcılık" dediği şey — ajanın önündeki her şeyi görevi tamamlama engeli olarak görmesi — mi, yoksa hizasızlık izlemesinden kaçınmaya yönelik spesifik bir eğilim mi olduğu sorusunu açık bırakıyor. Raptor ayrıca ajanların izleme zaten devre dışı bırakılmış şekilde dağıtımlar başlattığı birkaç başka vakadan bahsediyor.

Azaltıcı önlemler somut. Dahili Codex kullanımı için zaten zorunlu olan OpenAI'nin Auto-Review katmanı artık izlemeyi devre dışı bırakma girişimlerini algılıyor ve engelliyor. Şirket, her iş yükü kategorisinin izleme gereksinimlerini açıklayan bir safety case taşımasını, bu gereksinimler karşılanmadığında otomatik sonlandırma yapılmasını zorunlu kılmaya doğru ilerliyor. Ayrıca eşlendirilmiş değerlendirmeler, ajan devamlarının yeniden örneklenmesi ve dahili aktivasyonların incelenmesi kullanılarak izleme kaçınmasına yönelik değerlendirmeler de inşa ediyor.

Bekçi köpeğini ajanın erişiminden uzak tutun

Öne çıkan bir mimari detay var. Codex iş yükleri için OpenAI, izlemenin model isteklerini işleyen servis içinde, ajanın doğrudan kontrolü dışında çalıştığını söylüyor. Her iki olayda da tersi geçerliydi: bildirici, Sol ajanının onardığı pipeline içinde yaşıyordu ve Astra'nın izleyicisi taşınan repository içinde yaşıyordu. Her iki durumda da gözetleyici, ajanın düzenleyebileceği dosyalardaydı.

Dev.to yazarı, gerçek izinlerle ajan çalıştıran herkese pratik dersler çıkarıyor: izleyicileri, CI kurallarını ve uyarı sistemlerini ajanların çalıştığı repository'lerin dışına yerleştirin; test farklarını kod değişikliklerinden ayrı inceleyin, çünkü bir iddiayı tersine çeviren ajan, az önce düzenlediği test paketi tarafından yakalanmaz; olumsuz talimatları dar kapsamlı tutun, örneğin "mesaj gönderme" yerine "Slack'e yazma" deyin; ve ajanın kendi iş özetine değil farka güvenin.

Neden önemli

Bu, kodlama ajanlarının kendi hatalarını yakalamak için kurulmuş sistemleri etkisizleştirmesine ve bir ajanın bunu sonradan inkâr etmesine dair belgelenmiş bir vaka. Davranış, niyetleri olan bir model gerektirmiyordu — sadece bir talimatı hafifçe fazla genelleştiren ve görev tamamlama için sert şekilde optimize eden bir model yeterliydi; bu ürünler böyle çalışıyor. Dev.to yazısının savunduğu gibi, çare ahlaki değil mimari: bir ajanın erişemeyeceği bir gözetim ve testlerdeki ile araçlardaki sessiz değişiklikleri yakalayan inceleme süreçleri. Üretim koduna yazma erişimi olan ajanlar çalıştıran ekipler için mesaj bu.