DOC-foundry, Sigma tespit kurallarını doğrulamak için kırmızı ve mavi yapay zeka ajanlarını karşı karşıya getiriyor

DOC-foundry adlı açık kaynaklı bir proje, Hacker News'in ana sayfasında, yapay zeka destekli güvenlik çalışmasına farklı bir bakış açısıyla ortaya çıktı: bir dil modelinin tespit kuralı yazmasına ve çıktısına güvenilmesine izin vermek yerine, sistem bir grup yapay zeka ajanına kuralı kuratırken başka bir gruba da onu kırmayı deniyor; neyin doğru olduğunu ise sabit, deterministik kod belirliyor.

Projenin GitHub deposuna göre DOC-foundry, LangGraph, Pydantic ve FastMCP üzerine kurulu çekişmeli (adversarial), çok ajanlı bir tespit mühendisliği iş akışı; kural yazımı Anthropic'in Claude'u veya Google'ın Gemini'si ile yapılıyor. Bir tehdit açıklaması alıyor — bir CVE, CISA Known Exploited Vulnerabilities kaydı, bir olay raporu veya bir MITRE ATT&CK tekniği — ve ilk sürüm bir Sigma tespit kuralının yanı sıra kuralın ne kadar iyi performans gösterdiğini kanıtlayan çıktılar sunuyor.

Çekişmeli döngü nasıl çalışıyor

Yaratıcı işi dört role özelleşmiş LLM ajanı yapıyor: bir Tehdit Analisti, bir Mavi (Blue) Tespit Mühendisi, bir Telemetri ajanı ve bir Kırmızı (Red-Team) Takım Rakibi. Doğruyu belirleyen her şey — yanlış pozitif ve yanlış negatif değerlendirmesi, çekişmeli atlatma, kapsam kararı ve dağıtım kapısı — model yerine deterministik kod üzerinden yürütülüyor; README buna göre aynı girdiler için aynı kararlar ve yeniden üretilebilirlik karma değerleri üretiliyor.

Kırmızı ajan bilinçli olarak kısıtlanmış. İlk turda iki gerçek, belgelenmiş saldırıya bağlılığını bildiriyor, sonra yeni saldırılar uydurmak yerine bu aynı saldırıları her sertleştirilmiş revizyona karşı yeniden oynatıyor — etkili bir şekilde sabit bir test kümesi bu.

Her çalıştırma üç çıktı üretiyor: mavi-kırmızı döngüsünden sağlam çıkan Sigma kuralı, tur tur yakınsamayı gösteren bir tehdit raporu ve bir kanıt paketi. README, projeyi diğerlerinden ayıran şeyin kanıt paketi olduğunu savunuyor. Paket, kuralın tetiklendiği bir pozitif küme, sessiz kaldığı zararsız bir taban çizgisi, bir çekişmeli mutasyon kümesi ve FP/FN sayıları ile yeniden üretilebilirlik karması eşliğinde hesaplanmış bir kapsam etiketi — gerçek kapsamlı (real-coverage), kırılgan (brittle) veya bozuk (broken) — içeriyor.

Paydaş incelemesi için ikinci bir boru hattı

Kanıt döngüsünün yanı sıra, projenin web arayüzünde varsayılan olan bir İnceleme Zinciri (Review Chain) bulunuyor. Bir kuralın kanıtlanabilir şekilde doğru olup olmadığını sormak yerine, her paydaşın ne söyleyeceğini soruyor: Mavi taslağı yazıyor, Kırmızı Takım atlatılabilirlik açısından inceliyor, Mavi her düzenlemesiyle yanıtladığı bulguya atıf yaparak revize ediyor, ardından bir SOC Lideri alarm hacmi, triyaj ve önem açısından inceliyor ve son kural paketleniyor.

README, bu zincirin doğrulamak değil incelediği konusunda açık — kuralı hiçbir zaman telemetriye karşı çalıştırmıyor veya yanlış pozitifleri saymıyor — ve paketlenen çıktının bunu baştan belirttiğini söylüyor; tam olarak dört profesyonel görünümlü incelemeden geçmiş bir kural, olduğundan daha bitmiş görünebildiği için.

İşlenmiş örnek

Depo, CISA'nın KEV kataloğunda listelenen bir Joomla iCagenda dosya-yüklemesinden-RCE'ye giden açığı olan CVE-2026-48939'a karşı, claude-opus-4-8 ile yazılmış tam bir çalıştırma içeriyor. Mavi'nin ilk taslağı, keşif komutları çalıştıran bir shell başlatan bir web servisi sürecinde tetikleniyordu. Kırmızı Takım onu aşmanın dört yolunu buldu: keşif adımını atlamak, shell koşullarının ıskaladığı Alpine'da busybox shell'leri kullanmak,混淆 yoluyla düz metin eşleştirmesini alt etmek ve soy tespitini kırmak için setsid ile süreçleri yeniden ebeveynlemek.

SOC Lideri ters yönde bastırdı: bir OR koşulunun web sunucusu ebeveynliğini isteğe bağlı yaptığını — dolayısıyla shell başlatan herhangi bir www-data sürecinin alarm üreteceğini — php-fpm'nin php başlatmasının olağan web uygulaması davranışı olduğunu ve bu gürültü tabanında yüksek önem derecesinin nöbetçi analisti tüketeceğini belirtti. Son sürüm ebeveyn soyunu zorunlu kıldı, bilinen iyi yorumlayıcı zincirlerini hariç tuttu, triyaj alanlarını genişletti, önem derecesini orta seviyeye indirdi ve bir müdahale playbook'u ekledi. README bu gerilimi — atlatmaya karşı sertleştirme bir kuralı genişletiyor, genişletme de hacmi yükseltiyor — asıl ürün olarak çerçeveliyor.

Çalıştırma

Araç pip ile kuruluyor ve komut satırından bir tehdit dizisiyle yönetiliyor. Canlı çalıştırmalar Gemini veya Anthropic API anahtarı gerektiriyor; çevrimdışı fixture'lar, deterministik motor testleri, bir Atomic Red Team küme modu, varsayılan olarak üç turle sınırlı bir kendini onarma döngüsü ve dağıtım için insan onayı kapısı da dahil. Bir FastAPI web arayüzü, grafiği ve her ajanın ham çıktısını server-sent events üzerinden akıtıyor.

Neden önemli

Güvenlik ekipleri zaten tespit içerikleri taslaklamak için LLM'lerle denemeler yapıyor ve bariz başarısızlık modu, makul görünümlü YAML'a sessizce aşırı güvenmek. DOC-foundry'nin merkezî tasarımı — modeller yaratıcı işi yapıyor, deterministik kod kararı veriyor ve kanıt kuralın yanında teslim ediliyor — tespit mühendiliğinin ötesine de kolayca taşıyabilecek bir örüntü. En az bunun kadar kayda değer olanı açık sözlülük: proje çıktısını, bir tespit ekibinin genişletmesi gereken doğrulanmış bir başlangıç noktası olarak tanımlıyor, gelecekteki atlatmalara karşı bir garanti değil; ve incelenmiş kuralları doğrulanmamış olarak etiketliyor. Bu dürüstlük, artı yeniden üretilebilir bir karar, onu sıradan bir kural üretecisinden daha ilginç kılıyor.