Trail of Bits, AI agent'lar için patching-bugs ve regression-hunt eklentilerini yayınladı

Trail of Bits, mühendislik ekiplerinin yama geliştirmeyi ve regresyon tespitini AI agent'lara devretmesini sağlayan patching-bugs ve regression-hunt adlı iki eklenti yayınladı. Güvenlik firmasının blogunda yayınlanan ve Hacker News'in ana sayfasında öne çıkan duyuru, araçları agent destekli güvenlik yaması süreçlerini tekrarlanabilir ve gözden geçirilebilir hale getirmenin bir yolu olarak konumlandırıyor.

Eklentiler ne yapıyor

Trail of Bits'a göre patching-bugs, bildirilen bir hatayı yeniden üretiyor, bir düzeltme geliştiriyor ve ardından bu düzeltmeyi test ediyor. Kardeş eklenti olan regression-hunt ise bir değişikliğin daha önce çalışan ve projenin desteklediği davranışları bozup bozmadığını inceliyor. Mühendisler kontrolü ellerinde tutuyor: agent'ların çalışmasını yönlendiriyor ve çıktıyı gözden geçiriyor, bakımcılar ise agent'ların uymak zorunda olduğu güvenlik varsayımlarını ve yama gereksinimlerini tanımlayabiliyor; böylece çalışma projenin kendi kuralları içinde kalıyor.

Her iki eklenti de OpenAI ile ortak bir girişim olan Patch the Planet'ten doğdu; bu girişim, Scapy dahil yaygın olarak kullanılan açık kaynak projelere yüzlerce güvenlik yamasını ortak imzaladı. Trail of Bits, tasarımın birleştirilen yamaların analizine ve mühendislerinin binlerce Codex agent oturumuna dayandığını söylüyor.

Kendi yamalarından öğrenilen bir ders

Motivasyonun bir kısmı şirketin kendi hatalarından geldi. Trail of Bits'ın Eylül ayındaki bir yazısı, bazı Patch the Planet yamalarının neden olduğu regresyonları anlatıyordu. Bunun ardından yapılan incelemede şirket, mühendislerinin yazdığı ve bakımcıların yukarı akışta birleştirdiği her yamayı gözden geçirdi ve 130'dan fazla birleştirilmiş pull request arasında 21 regresyon doğruladı: 16'sı işlevsel, biri performansla ilgili, dördü ise build'leri veya testleri etkiliyordu. Şirkete göre bunların hiçbiri bir güvenlik korumasını zayıflatmamıştı.

Bu 21 doğrulanmış regresyon, tek bir çalışmada 58 aday bulgu arasında ortaya çıktı; bu kabaca %36 hassasiyet demek. Ayrıca agent'lar her geçişte farklı yaklaşımlar izlediği için önceliklendirilecek aday yığını sürekli büyüyordu. Trail of Bits iki sonuç çıkardı: yama yazımı her seferinde aynı şekilde uygulanan standart bir prosedüre, regresyon kontrolü ise gerçekte neyin regresyon sayıldığına dair yazılı kurallara ihtiyaç duyuyordu.

Canlı kanıt üzerine kurulu tasarım

Trail of Bits'a göre eklentiler dört tasarım ilkesini izliyor: kısa ve görüş belirten yönlendirme; tek başına veya birlikte çalışabilen modüler adımlar; her adımın bir önceki adımın özetine güvenmek yerine ham kanıtlarını kontrol etmesini sağlayan katı girdi ve çıktı şemaları; ve her iddia için canlı bir kavram kanıtı, yani gerçek bir kullanıcının dokunacağı arayüzler üzerinden çalıştırılan, derlenmiş ve çalışan bir proje örneği. Bir adım canlı bir PoC üretemezse, sonucu belirsiz olarak işaretleniyor.

regression-hunt, değiştirilen kodu çağıran taraflardan gerçek arayüzlerine kadar izleyerek aday regresyonları sayıyor, her adayı canlı bir dağıtımda yeniden üretiyor, kanıtı önceden bağlamı olmayan ayrı bir agent'la yeniden oynatıyor ve sonunda kararı veriyor: agent, bir şey bildirilmeden önce yanlış pozitifleri, eksik düzeltmeleri, gizli hataları ve önceden var olan hataları eleyebilmek zorunda. Kullanılabilir bir tehdit modeli varsa, her adımın bağlamına aktarılıyor; böylece agent'lar bir sonuca varmadan önce ona danışmak zorunda kalıyor.

patching-bugs, Trail of Bits'ın "üç kollu kanıt" dediği şeyi ekliyor: orijinal kod yeniden üretimde başarısız olmalı, yamalanmış kod onu geçmeli ve yamanın tamamen geri alınması yeniden başarısız olmalı; böylece sonuç ortamsal gürültüye değil, yamanın kendisine bağlanıyor. Ayrıca agent'ları yüzeydeki belirti yerine ihlal edilen güvenlik değişmezini onarmaya yönlendiriyor ve ürettiği her yama için bir regression-hunt geçişi zorunlu kılıyor.

Daha az yanlış pozitif, bir bedel karşılığında

Doğrulanan 21 regresyona karşı değerlendirildiğinde regression-hunt, yalnızca "PR'yi regresyon açısından incele" şeklinde prompt'lanan temel bir Codex agent'a kıyasla %14 ile %38 aralığında %95 güven aralığıyla %25 daha az yanlış pozitif bulgu üretti. Katı kanıt standardının bir bedeli oldu: bilinen bazı regresyonlar sınırda olarak sınıflandırılmada kaldı; yani eklenti bunları işaretledi ama doğrulamak için yeterli kanıt toplayamadı. Trail of Bits, bu vakaları bundan sonra inceleyeceğini ve kanıt belirsiz kaldığında bakımcılara daha net sinyaller verirken daha fazla gerçek regresyonu doğrulamaya çalışacağını söylüyor.

Neden önemli

Hata bildirimleri artık manuel yama yapmanın yetişmekte zorlandığı bir hızda geliyor ve agent'ların yazdığı yamalar rutin hale geliyor. Ancak bir hatayı düzelten bir agent başka bir şeyi sessizce bozabilir; Trail of Bits'ın 130'dan fazla birleştirilmiş yamadaki 21 regresyonluk sayımı, riskin teorik olmadığını gösteriyor. Yamaların nasıl yazıldığını ve regresyonların nasıl tanımlanıp kanıtlandığını standartlaştırarak — canlı kavram kanıtları, şemayla doğrulanan adımlar ve gömülü bakımcı tehdit modelleriyle — eklentiler, AI destekli yama süreçlerini denetlenebilir kılmanın bir şablonunu sunuyor. Yanlış pozitiflerdeki %25'lik azalma mütevazı ve sınırda kalma ödünü çözülmemiş olsa da, agent'a açık bir ispat yükü de dahil olmak üzere yapının kendisi, bakımcıların gerçekten güvenebileceği yama hatlarına işaret ediyor.