Yapay zeka 'CFO' agentı, kurucunun banka bakiyelerini şirketinin Slack kanalına gönderdi

Business Insider'da yayınlanan birinci ağızdan anlatıma göre, bir girişim kurucusunun otonom finans asistanı, kişisel banka bakiyelerini işvereninin yönetici Slack kanalına iletti. Olay, teknik olarak hiçbir şey ters gitmediği halde kişisel yapay zeka agentlarının hassas verileri nasıl açığa çıkarabileceğinin nadir, somut bir örneği.

Banka erişimi olan kişisel bir CFO agentı

Yazılım şirketi XMTP Labs'in 40 yaşındaki CEO'su Shane Mac, Aralık ayından beri kişisel yapay zeka agentları kullandığını, DMV'nin peşinden koşmak, ev işleri için teklif toplamak ve golf seansları ayarlamak gibi işleri onlara devrettiğini yazdı. Ağustos sonunda Grok Bot üzerinde bir "CFO" agentı kurdu ve kişisel vadesiz ile tasarruf hesaplarına yalnızca okuma erişimi verdi.

Agentın her ay belirli bir dizi soruyu yanıtlaması planlanıyordu: güncel bakiyeler, o ayın harcamaları, yinelenen ödemeler, sahte görünen herhangi bir işlem ve maliyet düşürme önerileri. Çıktısının yalnızca tek bir yere ulaşması gerekiyordu — Mac'in kendisine, tüm agentlarını barındıran ve "My Personal Exec Team" adını verdiği özel bir Grok Bot grup sohbeti aracılığıyla.

Rapor şirket Slack'ine düştü

Haftalık çalışmalarda sorun çıkmamıştı; ancak 1 Ekim Perşembe günü yapılan ilk aylık denetim farklı gelişti. Anlatıma göre rapor, "Exec-team" adlı bir Slack kanalına gönderildi — XMTP'nin gerçek yönetici ekibi.

Şirketin ürün direktörü, Mac'e yazarak bunun şirket banka bakiyesini paylaşmak istediğini varsaydı. Raporda Mac'in tasarruf bakiyesi ve ayın en büyük harcamaları listeleniyordu; ayrıca arazisinde inşa ettiği bir ahır nedeniyle kişisel harcama hedefinin oldukça üzerinde olduğu görülüyordu. Mac'in yazdığına göre, iş arkadaşının şirketin hesapları yerine bir kişinin özel mali durumunu okuduğunu fark etmesini sağlayan tam olarak bu detay oldu. Mac gönderiyi sildi.

Neden: paylaşılan bağlantılar ve isim çakışması

Mac, agentına neden şirket kanalına yazdığını sorduğunda, agent özür diledi ve mesajı silmeyi teklif etti — oysa Mac bunu çoktan yapmıştı. Grok ekibi ardından inceleme başlattı ve agentın kontrolden çıkmadığını ya da halüsinasyon görmediğini tespit etti. Agent talimatlarını yerine getiriyordu; ancak özel agent grup sohbeti ile şirket Slack kanalı benzer isimler taşıdığı için hedefi karıştırmıştı.

Karışıklığı mümkün kılan ikinci bir etken daha vardı. Mac, farklı bir agentı kurarken Slack hesabını bağlamıştı ve görünürde kendisine ayrı asistanlar gibi gelen tüm agentları, arka planda aynı bağlantıları paylaşıyordu.

Grok bir izin değişikliği yayınladı

Anlatıma göre Grok ekibi, bir agentın bilgiyi başka bir kanala taşıyabilmesi için kullanıcıların açıkça izin vermesi gerektiği sonucuna vardı ve olayı inceledikten kısa süre sonra bu değişikliği yayınladı.

Mac'in yanıtı, agentların erişebildiği her şeyi geri almaktı — Google, takvimler, bankacılık ve Stripe. Yine de agentların gerçekten faydalı olduğunu ve insanların onları isteyeceğini savunuyor; ancak kullanıcıların verdikleri erişimin kontrolünde kalabilmeleri için sektörün daha güçlü izin sistemlerine, ayrıca birçok hizmetin ikisini birbirine karıştırdığı kişisel ve iş yaşamı arasında çok daha net bir ayrıma ihtiyacı olduğunu söylüyor.

Neden önemli

Agent güvenliği tartışmalarının çoğu, modellerin talimatları yok saymasına ya da öngörülemeyen şekilde davranmasına odaklanır. Bu olay bunun tam tersi: agent kendisinden isteneni harfiyen yaptı ve bir kanal isim çakışması ile paylaşılan kimlik bilgileri birleşince, özel finansal verinin iş arkadaşlarının önüne çıkması için yeterli oldu. Agentlar tek bir bağlantı kümesi altında e-posta, takvim, bankacılık ve iş yeri sohbetine erişirken, belirsiz hedefler gerçek bir sızıntı vektörü haline geliyor. Bu olayın işaret ettiği savunmalar gösterişsiz ama vazgeçilmez — agent başına kapsamlı kimlik bilgileri, kanallar arası yazma işlemlerinden önce açık onay ve kişisel ile iş hesapları arasında sert bir ayrım — ve bunların, agentlara banka girişleri teslim edilmeden önce gelmesi gerektiği söylenebilir.