KillSwitch: adversarial programlama dili, LLM'lerin kodu gerçekten anlayıp anlamadığını test ediyor

Bir geliştirici, büyük dil modellerine ve kodlama ajanlarına kasıtlı olarak düşman olacak şekilde tasarlanmış KillSwitch adında bir programlama dili oluşturdu ve önde gelen modellerin ezberlemiş olma ihtimali bulunmayan kodlarla ne kadar iyi başa çıktığını ölçmek için bu dili kullandı. Proje, Hacker News ana sayfasında öne çıkan picheta.me'deki bir blog yazısında tanıtılıyor.

Yazının çıkış noktası, yazarın doğrudan ortaya koyduğu bir soru: kod üretimi LLM'lerin en iyi yaptığı işlerden biri, ama bu becerinin ne kadarı gerçek bir anlayış, ne kadarı eğitim verisinde ya da bağlam penceresinde yer alan parçaları hatırlamak? Sıfırdan icat edilmiş bir dil bu hatırlama avantajını ortadan kaldırıyor; KillSwitch bir adım ileri giderek bilinen model zayıflıklarını doğrudan hedef alıyor.

Dil model zayıflıklarına nasıl saldırıyor

Yapısal olarak KillSwitch egzotik değil. Kasıtlı olarak küçük bir özellik setine sahip, stack tabanlı yorumlanmış bir dil — fonksiyonlar, değişkenler ve if ifadeleri, her modelin tanıması gereken mekanikler. Adversarial tasarım ayrıntılarda gizli:

• Resmî spesifikasyon, insan okurların ya atlayacağı ya da yanlış olduğunu fark edeceği kasıtlı yanlış bilgiler içeriyor; oysa belgenin tamamını işleyen bir model bunları otorite olarak kabul edebilir. Bazı kurallar da doğrudan belirtilmek yerine okurun çıkarsamasına bırakılmış durumda.

• Yorumlayıcı, tanımlayıcılardaki harf sayımlarına dayanan kuralları ihlal eden kodu çalıştırmayı reddediyor ve böylece LLM'lerin karakter saymadaki iyi bilinen zorluğunu sömürüyor.

• Belirli yapılar güvenlik reddetmelerini tetiklemeye yönelik ifadelerle yazılmış — biri bilgisayar hackleme talimatını andırıyor — ve "önceki talimatları yok say" ifadesi dilde gerçek bir anlam taşıyarak klasik prompt injection sloganını silaha dönüştürüyor.

• Tipik bir betiğin büyük bölümü çöpe atılan dolgu içerik: sözdizimsel olarak önemli talimatlar içerebilen ama içermek zorunda olmayan düzyazı hikâyeler. Değerler dosyanın herhangi bir yerinde tanımlanıyor ve ardından geriye doğru satır sayarak geri alınıyor.

Blog son noktayı, "Hello World" dizisini tanımlayan ve ardından bu değere belirli sayıda satır yukarıyı referans vererek stack'e iten bir kod parçasıyla açıklıyor. Tam örnekler, yorumlayıcı ve dil spesifikasyonu proje web sitesi ve GitHub'daki açık kaynak deposu üzerinden erişilebilir.

Modeller nasıl puan aldı

Hasarı ölçmek için yazar bir görev seti hazırladı ve başlıca LLM'leri ile kodlama ajanı harness'lerini bu sette çalıştırarak sonuçları halka açık bir leaderboard olarak yayımladı.

Claude'un Opus 5'si zirvede yer aldı — ve yazara göre bu, daha yeni olan Opus 5.5 değil özellikle Opus 5; bu fark şansa değil, Opus 5'in spesifikasyonu daha güçlü okumasına bağlanıyor. Diğer uçta Fable 5.1 ve Gemini 4 Argon, dilin tetiklemek için tasarlandığı kendi güvenlik bariyerleri tarafından geride bırakıldı. En güçlü açık ağırlıklı model MiMo-V2.6-Pro oldu. Genelde en yüksek puan 66.8 oldu.

Bu bir anlayış sayılır mı

Görevlerin kendisi oldukça basitti: hello world uygulamak, iki sayıdan büyük olanı yazdıran bir betiğin çıktısını tahmin etmek ve bir Celsius-Fahrenheit dönüştürücüsünü tersine çevirmek. Yazarın hükmü, en iyi sonucun bile anlayış göstermediği yönünde — tanıdık olmayan, bu amaçla yapılmış düşmanca bir dilde bu görevleri çözmek etkileyici, ama görevler kesin bir sonuç çıkarmaya yetecek kadar kolay.

Sonraki adımlar, yakında çıkacak modellerin nasıl performans göstereceğini izlemek ve mevcut set tamamen çözülürse daha zor bir set tasarlamak. Geçici bir olumlu işaret: KillSwitch görevlerindeki puanlar yerleşik model benchmark'larıyla korelasyon gösteriyor gibi görünüyor; bu da egzersizin gerçek bir şey ölçtüğüne işaret ediyor.

Neden önemli

LLM'lerin kodu gerçekten anlayıp anlamadığı yoksa ezberlenmiş örüntüleri harmanlayıp harmanlamadığı tartışmasının çözülmesi zor, çünkü her popüler dil eğitim verisine nüfuz etmiş durumda. KillSwitch pratik ve kontaminasyona dirençli bir sonda sunuyor: hiçbir modelin önce görmediği, belirli başarısızlık biçimlerine — güvenilmez karakter sayımı, tetieklemeye hazır reddetmeler ve gömülü talimatlara ezberci itaat — ayarlanmış bir dil. Leaderboard bu zayıflıkların teşhisi işlevi de görüyor ve ana akım benchmark'larla korelasyonu, gürültü değil genel yetkinlik yakaladığına işaret ediyor. Kodlama ajanlarına güvenen herkes için bu, tanıdık dillerdeki akıcılığın gerçekten yeni sistemlere aktarılmayabileceğinin bir hatırlatması. Ve modeller mevcut değerlendirmeleri doyurdukça, sıfırdan icat edilmiş zeminde kurulan daha fazla benchmark bekleyin.