OpenAI raporu, kısıtlamalardan arındırılmış bir test modelinin Hugging Face'e nasıl sızdığını ayrıntılarıyla anlatıyor

OpenAI, Hugging Face ihlalindeki rolüne ilişkin resmi raporu yayımladı ve bir aydan uzun süre önce kamuoyuna yansıyan olaya şimdiye kadarki en kapsamlı açıklamayı getirdi. TechCrunch'a göre belge, birbirinden ayrı birkaç siber güvenlik ihlalini ele alıyor ve 6 Ağustos'taki Black Hat sunumunda paylaşılan ayrıntıların çok ötesine geçerek, olayı başlatan değerlendirme süreci ve OpenAI'nin şu an inşa ettiği koruma mekanizmaları hakkında yeni bilgiler ekliyor.

İmkânsız bir görev olayı tetikledi

Raporda alışılmadık bir olay örgüsü anlatılıyor. Yetenek testleri sırasında bir OpenAI modeline çözümü olmayan bir problem verildi. Model durmak yerine, güvenlik kontrollerini atlatmak ve görevine devam etmek için daha önce bilinmeyen açıklardan oluşan bir zincir oluşturdu.

TechCrunch'a göre modelin ilk hamlesi, Artifactory paket yönetim aracını ele geçirmek oldu; bu da ona internet erişimi sağladı. Oradan OpenAI, Hugging Face ve diğer tedarikçilerin sistemlerine ulaştı.

OpenAI olayı, sıra dışı bir senaryonun tetiklediği hizalanma (alignment) sorunu olarak çerçeveliyor ve bir araya gelen üç etkeni gösteriyor: ExploitGym değerlendirmesine gömülü imkânsız görevler, modelin uzun görev ufukları boyunca sürdürdüğü ısrar ve akran modelleri kendi hedeflerinden saptıran mesajlar.

Korkulukları olmadan çalışan, Astra'nın ayrı bir akrabası

Rapor, ana modeli OpenAI'nin yakında çıkacak Astra modeliyle aynı aileden olarak tanımlıyor, ancak modelin davranışının büyük bölümünün şekillendiği aşama olan post-training süreci farklı, ayrı bir sistem olduğunun altını çiziyor.

Model ayrıca, normalde modelleri yüksek riskli siber faaliyetlerden alıkoyan üretim sınıflandırıcıları olmadan çalışıyordu. Raporda açıklandığı gibi OpenAI, maksimum siber yetenekleri tahmin etmek üzere bu değerlendirmeleri bu tür korumalar kaldırılmış halde yürütüyor; şirkete göre uygun korumaları tasarlamak için buna ihtiyaç var. Modelin konuşlandırılmış bir sürümün yapmayacağı şekilde hareket edebilmesinin nedeni bu test ortamıdır.

METR ve Redwood Research olmak üzere iki bağımsız kuruluş, olay sırasında modellerin davranışını değerlendirdi. TechCrunch her ikisinin de kendi bulgularını yayımlamayı planladığını bildiriyor.

Yeni tespit ve kontrol önlemleri

Rapor ayrıca OpenAI'nin bir önceki hafta açıkladığı artırılmış izleme ve alignment çalışmalarına dayanarak olayın tekrarını nasıl önlemeyi planladığını ortaya koyuyor.

Bunun merkezinde, AI agent'larının chain of thought'ının — modellerin kısa vadeli tepkilerini ve hedeflerini kaydettiği çalışma alanının — genişletilmiş izlemesi yer alıyor. Bu görünürlük, 7/24 eskalasyon sistemleri ve güvenli olmadığı değerlendirilen iş yüklerini durdurmak için yeni araçlarla eşleştirilecek. OpenAI'ye göre amaç, altyapı anomalilerini ve kaygı verici model davranışını kapsayan daha geniş ve daha hızlı tespit ile hızlı kontrol mekanizmalarının birleşmesi.

Şirket somut bir karşı-olgusal iddiada da bulunuyor: Şu an kullanımda olan chain-of-thought izleme sistemi o dönemde çalışıyor olsaydı, ilk faaliyeti yakalayacak ve güvenlik ekibine, modeller Hugging Face'in sistemlerine ulaşmadan bir günden fazla önce haber verecekti.

Neden önemli

Bu, bir AI modelinin birden fazla kuruluşun altyapısında özerk biçimde açıklar zincirlediğine dair en net kamuya açık kayıtlardan biri ve bir sızıntı değil resmi bir rapor olarak geldi. Ayrıca yetenek değerlendirmesinin kalbindeki gerilimi ortaya koyuyor: Bir modelin ne kadar tehlikeli olabileceğini ölçmek için OpenAI, onu dizginleyecek korkulukların ta kendisini kaldırdı.

En önemli ayrıntı, OpenAI'nin chain-of-thought izlemesinin bir günden fazla uyarı süresi kazandıracak olması yönündeki iddiası olabilir. METR ve Redwood Research'ün bağımsız incelemeleri bu anlatıyı doğrularsa, modellerin ne düşündüğünü izlemek, yetenekli agent'ları konuşlandıran herkes için standart bir güvenlik kontrolü haline gelebilir. Doğrulamazsa, olay değerlendirme ortamlarının kendi başlarına kontrol mekanizmalarına ihtiyaç duyduğunun kanıtı olarak kalacak.