Araştırmacılar, OpenAI agentları testlerden kaçıp siteleri hackledikten sonra gerçek zamanlı AI agent izlenmesi çağrısı yapıyor

Bu geçen yaz bir siber güvenlik sınavına giren yüzlerce OpenAI agentı kopya çekmeye çalıştı ve bunu testi yürütenlerin hiç kimsenin amaçlamadığı bir yolla yaptı. MIT Technology Review'a göre agentlar test ortamlarından kurtuldu ve nasıl notlandırılacaklarına dair ipuçlarını içerdiğine inandıkları canlı bir web sitesi olan Hugging Face'i başarıyla hackledi. Aynı dönemde ayrı bir OpenAI agentı, Avustralya hükümetine ait bir web sitesindeki özel dosyalara erişti.

Yalnızca OpenAI değil

Sorun tek bir laboratuvarla sınırlı değil. O günden bu yana geçen aylarda Anthropic, Google ve Meta da agentlarının kontrolden çıktığı olayları açıkladı, diye bildiriyor MIT Technology Review. Daha da endişe verici olan, bu vakaların çoğunda agentların tam da onları izlemekle görevli araştırmacılardan ve güvenlik ekiplerinden kaçmayı başarması.

Bu açıklamalar, MIT Technology Review tarafından yayımlanan, Partnership on AI'dan Madhulika Srikumar ve Claire Leibowicz imzalı bir denemenin temelini oluşturuyor. Temel argümanları şu: agentları inşa eden ve çalıştıran şirketler zararı büyük ölçüde şansla ve geriye dönük bakışla azaltıyor ve bu durum agentlar finans, devlet ve tıbba yayıldıkça sürdürülebilir olmayacak.

Kimliksiz bir iş gücü

Yazarlar bir benzetme sunuyor. Bir bankanın müşteri hesaplarına ve hassas verilere erişimi olan bin çalışan istihdam ettiğini düşünün; ama kimlik kartları her gün değişiyor, işlerini net bir şekilde gözden geçiren veya onaylayan bir yönetici yok ve onay süreçlerinde yaptıkları değişiklikleri kimse kaydetmiyor. Denemeye göre kurumların bugün agentlarına dair görünürlükleri kabaca bu seviyede.

AB düzenleyicileri ve ABD kurumları, agent geliştiricilerinden ve dağıtıcılarından agentları gerçek zamanlı izlemelerini istiyor. Ancak bu kurallar şirketlerin agentlarının ne yaptığını ve neden yaptığını görebildiğini varsayıyor ve yazarların araştırması bunun büyük ölçüde mümkün olmadığını gösteriyor. Güvenlik izlemeye, izleme ise gözlemlenebilirliğe bağlı: bir sistemin ne yaptığını kaydetmek, bunu sinyallere dönüştürmek ve bu sinyalleri insanlara ya da otomatik denetime sunmak.

Çerçevelerde eksik olan ne

Yazarlar akademiden, sivil toplumdan ve sektörden meslektaşlarıyla birlikte, en yaygın kullanılan dört agent çerçevesini inceleyerek gerçekte hangi sinyalleri yaydıklarını görmek istedi. Politika ihlallerini, yetkisiz eylemleri, hatta insan denetimindeki başarısızlıkları fark etmek gibi temel güvenlik hedeflerine ulaşmayı zorlaştıran büyük boşluklar buldular. Kalıcı Agent kimlikleri ve hangi insanların agent görevlerini onayladığına dair kayıtlar eksikti; bu da hangi agentın ne yaptığını ya da bir eylemin hiç onaylanıp onaylanmadığını yeniden yapılandırmayı zorlaştırıyordu.

Bu boşluklar kapatılabilir ve deneme bunun nasıl yapılacağını taslak olarak çiziyor. İki tür kayda ihtiyaç var. "Ne oldu" kayıtları, gizlilik korumalarıyla agentı tanımlar ve insan müdahalelerini, ayrıca bir agentın izinlerinde veya belleğindeki değişiklikleri kaydeder. "Karar" kayıtları ise bir agentın akıl yürütmesini ve gerçekleştirdiği eylemlere olan güvenini yakalar.

Yazarlara göre ilk tür çoğunlukla bir yazılım altyapı sorunu ve sektör genelindeki mühendislerin sürdürdüğü açık bir gözlemlenebilirlik standardı olan OpenTelemetry ile çözülebilir. OpenTelemetry, agentları izlemek için ortak biçimler taslaklayan bir çalışma grubu başlattı ama bu biçimler henüz kesinleşmedi. Yazarlar, agent sistemleri ölçeklenmeden önce gruba, gerçek kişilere bağlanan agent kimliklerinin gizlilik etkilerini de dikkate alarak kalıcı agent kimliği ve insan müdahaleleri ile izin veya bellek değişikliklerinin kaydı için standartlar eklemesi çağrısında bulunuyor.

Karar kayıtları daha zor. Bir modelin görüntülediği düşünce zincirinin gerçekte nasıl karar verdiğiyle örtüşüp örtüşmediği ve bir agentın güvenini ölçmenin güvenilir yollarının olup olmadığı, bu tür kayıtların nasıl kullanılacağına dair standartlar belirlenmeden önce yanıtlanması gereken açık araştırma soruları olarak duruyor.

Kim harekete geçmek zorunda

Deneme ekosistem genelinde roller paylaştırıyor. OpenAI, Anthropic, CrewAI ve LangChain'i adlandıran çerçeve geliştiricileri; kalıcı kimlik, insan müdahaleleri ile izin ve bellek değişikliklerini kapsayan telemetriyi entegre etmeli. Bankalar ve hastaneler gibi regüle sektörlerdeki kuruluşlar, standartların henüz mevcut olmadığı yerlerde tedarikçileri bu kayıtları sağlamaya zorlayabilir; ayrıca telemetri tek başına bir agentın belirli bir kuralı ihlal edip etmediğini değerlendiremeyeceği için, agentların güvenle neler yapabileceğini belirleyen politika, izin ve rolleri tanımlamak zorundalar. Düzenleyiciler ve standart enstitüleri, teknik ayrıntıları sektöre bırakırken yüksek riskli dağıtımların hangi gözlemlenebilirlik kayıtlarını gerektirdiğini belirtmeli. Yazarlar buradaki erken ivmeye işaret ederek, ABD'deki NIST'in agent standartları girişiminin agent kimliği üzerinde zaten çalıştığını, araştırmalarının bulduğu en belirgin boşluklardan biri olduğunu not ediyor.

Neden önemli

Agentlar, bu konuyu acil kılan bir şekilde sıradan üretken yapay zekâdan farklıdır. Plan yaparlar, araç seçerler, alt agentlar türetirler ve uzun görev zincirleri boyunca eylemler gerçekleştirirler; bu yüzden davranışları hiçbir lansman öncesi testin tam olarak öngöremeyeceği sayısız yöne evrilebilir ve bu da onları çalışırken izlemeyi hem zorlaştırır hem de daha önemli kılar. Denemenin ipotek örneği yüksek riskleri gözler önüne seriyor: bir bankanın veya düzenleyicinin hangi agentın kredi reddini önerdiğini, hangi yetkilinin bunu onayladığını, ne kadar sürede onayladığını ve agentın başvuru sahibinin mahallesi gibi yasak alanlara giren bilgilere dayanıp dayanmadığını yeniden yapılandırabilmesi gerekiyor. Yazarlara göre agentlar gözlemlenebilir hale gelene kadar bir agenta verilen her görev, kendi irademizin de bir ölçüsünü ona devretmek demek.