Eski Anthropic çalışanı ve METR'in eski COO'su, AI agent denetim girişimi AIUC için 40 milyon dolar topladı

Anthropic'in ilk çalışanlarından biri ile yapay zeka güvenliği değerlendiricisi METR'in eski operasyon şefi (COO) tarafından kurulan bir girişim, AI agent'lar için üçüncü taraf denetim ve sertifikasyon katmanı oluşturmak amacıyla 40 milyon dolar topladı; haberi TechCrunch aktardı. Artificial Intelligence Underwriting Company (AIUC) adlı şirket, Salı günü Ribbit Capital liderliğinde ve First Harmonic'ın katılımıyla Seri A yatırım turunu duyurdu. Şirket daha önce Nat Friedman'ın NFDG fonu aracılığıyla, ayrıca Emergence, Terrain ve Anthropic kurucu ortağı Ben Mann'ın desteğiyle 15 milyon dolarlık bir seed turu gerçekleştirmişti; toplam finansman böylece 55 milyon dolara ulaştı.

Kimler arkasında

Kurucular, Anthropic'in en erken dönem işe alımlarından Rune Kvist ile 2024-2025 yılları arasında METR'i COO olarak yöneten ve halen yönetim kurulunda yer alan Rajiv Dattani. İkisi aynı zamanda enistedir. TechCrunch'a konuşan Kvist'nin ifade ettiği gibi temel argümanları şu: zekâ ve kontrol edilebilirlik zıt yönlerde çekiyor; yapay zeka ne kadar akıllı olursa, dağıtması ve yönetmesi o kadar zorlaşıyor.

Kvist, bankalar, hastaneler, hükümetler ve ordular gibi büyük kurumların artık modellerin yetersiz kalması nedeniyle yapay zekadan geri durmadığını söyledi. Tereddüt etmelerinin nedeni, kendi müşterilerine bir sistemin neler yapıp neler yapmayacağına dair verdikleri sözler; ve şu anda piyasada bu sözlerin tuttuğunu garanti edebilen kimse yok.

AI agent'lar için bir SOC 2

AIUC'nin yanıtı siber güvenlikten tanıdık bir oyun kitabını ödünç alıyor. Tıpkı SOC 2'nin bulut sağlayıcıları için fiili güven standardı haline gelmesi gibi, AIUC de AIUC-1 adında bir standardı ve agent'ları bu standarda göre doğrulayan bir test hizmetini geliştirdi.

Standardı şekillendirmek için şirket, kurumlar adına agent'ları gerçekten satın alan kişiler olan yaklaşık 250 güvenlik ve risk liderinden oluşan bir konsorsiyum oluşturdu. Dattani, TechCrunch'a AIUC'nin bu grupla aylık olarak buluştuğunu ve bir satın alma onayı vermeden önce bir agent satıcısından neler görmek istediklerini sorduğunu iletti.

Denetim gerçekte ne yapıyor

İnceleme altındaki bir agent, jailbreak, halüsinasyon ve veri sızıntısı senaryolarında nasıl davrandığını inceleyen yaklaşık 5.000 testlik bir diziye tabi tutuluyor. Çıktı, agent'ın nerede güvenli ve güvenilir performans gösterdiğini ve nerede göstermediğini ortaya koyan yaklaşık 100 sayfalık bir rapor.

Özellikle dikkat çeken nokta, Kvist'nin aktardığına göre AIUC'nin testleri yürütmek için AI agent'lar ve sonuçtaki verileri analiz etmek için yapay zeka kullanması; ancak nihai denetimi, yayımlanmadan önce insanların doğrulaması. Girişim, müşterileri arasında Cursor, Lovable, Harvey ve ElevenLabs'ı sayıyor.

Kalabalık ve acil bir dönem

Model, Dattani'nin eski işvereninin belirgin yankılarını taşıyor. METR, frontier laboratuvarları için benzer değerlendirmeler yapıyor; ancak kamuya açık çalışmaları yakın zamana kadar ağırlıklı olarak performansa, yani agent'ların görevleri güvenilir biçimde tamamlayıp tamamlayamadığına odaklanıyordu, nasıl başarısız olduklarına değil. METR ayrıca OpenAI'nin Hugging Face olayını incelemek üzere görevlendirdiği bağımsız kuruluşlardan biriydi.

Arka planda ise sektördeki kaygı büyüyor. Anthropic CEO'su Dario Amodei kısa süre önce sektörü, yanlış davranan sistemlere ilişkin raporların artışına dikkat çekerek frontier geliştirmenin temposunu yavaşlatmaya çağırdı ve güvenlik iddialarını doğrulamak için frontier laboratuvarlarına gömülü üçüncü taraf değerlendiricileri barındırma zorunluluğu getirilmesini önerdi; METR'yi de aday olarak gösterdi. AIUC, personelini müşteri kuruluşlarının içinde konumlandırmayı önermiyor; ancak alttaki fikir aynı: alıcılara, bir agent'a güvenmeden önce ona güvenilip güvenilemeyeceğine dair bağımsız bir okuma sunmak. Dattani'nin ifade ettiği gibi rapor, müşteriye agent'ın nerede geçer ve güvenilir olduğunu, satın almadan önce tartmaları gereken endişelerin nerede bulunduğunu söylüyor.

Neden önemli

AI agent'lar demolardan gerçek veri, gerçek para ve gerçek yetkilerin olduğu iş akışlarına geçiyor ve kurumların biri baskı altında nasıl davranacağını doğrulamak için yaygın kabul görmüş bir yolu henüz yok. SOC 2 model alınarak oluşturulacak bir sertifikasyon katmanı, agent güvenliğini belirsiz bir güvenceden tedarik gereksinimine dönüştürebilir; güvenlik uygulamaları da çoğu zaman böyle evrensel hale gelir.

Bu ayrıca yapay zeka güvenliği yetenekleri için ticari bir dönüm noktası: Anthropic ve METR geçmişine sahip deneyimliler artık güveni bir araştırma olarak yayımlamak yerine ürün olarak satıyor. Açık sorular şunlar: 5.000 testlik bu paket hızla gelişen modellerle başa çıkabilir mi ve sertifikasyon gerçek bir güvenceye olgunlaşacak mı yoksa galip işaretli bir uyuma mı dönüşecek. Her şekilde, AIUC'nin aldığı 55 milyon dolarlık destek, yatırımcıların agent denetimlerinin her kurumsal yapay zeka bütçesinde bir kalem olmaya hazırlandığına inandığını gösteriyor.