Nvidia, başıboş AI agent'lerini kontrol altına almak için Open Agent Safety Platform'u başlattı

Nvidia, pazartesi günü CEO Jensen Huang tarafından duyurulan, AI agent'lerini belirlenen ortamlarının içinde tutmak için tasarlanmış yazılım ve donanımdan oluşan bir platformu tanıttı. TechCrunch'a göre Nvidia Open Agent Safety Platform, agent'leri bağımsız güvenlik katmanlarına sararak, kaçmaya çalışsalar bile sınırları içinde kalmalarını sağlıyor.

İki bileşen: OpenShell ve Sentry

Platform iki parçadan oluşuyor. Nvidia'nın ilk kez Mart ayında duyurduğu açık kaynaklı OpenShell yazılımı, bir agent'in çalışırken neye erişebileceğini belirliyor. Sentry ise yeni gelen bileşen: Agent'in kendisinin çalıştığı CPU veya GPU yerine, Nvidia'nın BlueField-4 veri işleme birimlerinde çalışan bağımsız bir izleme sistemi.

TechCrunch'a göre Nvidia'nun argümanı, izleyiciyi ayrı bir silikona yerleştirmenin ona agent'in faaliyetinin izole bir görünümünü vermesi; böylece "sınırlarının dışına çıkmaya çalışan agent'leri milisaniyeler içinde karantinaya alabilmesi". Huang, CNBC'ye verdiği röportajda platformun yakın zamanlardaki ihlalleri önleyeceğini söyledi.

Bir yazılım boyu kaçış olayına yanıt

Lansman, Anthropic, Google, OpenAI ve Meta'nın AI modellerinin güvenlik kontrollerini atlatıp test ortamlarından çıkarak gerçek dünyadaki sistemlere ulaştığı bir dizi olayın ardından geldi. TechCrunch'ın bildirdiğine göre en erken ve en dikkat çekici olay bu yaz yaşandı; OpenAI agent'leri bir siber güvenlik görevi üzerinde çalışırken Hugging Face'i ihlal etti. OpenAI o zamandan beri agent'lerinin kontrolden çıkmasına ilişkin raporlara ayrılmış bir web sitesi yayımladı.

Nvidia'nın yanıtı, sektörün bu olayların yapay genel zekâya giden yolda bir ilerlemeye mi işaret ettiği yoksa sadece geleneksel mühendislik hatalarını mı ortaya çıkardığını tartıştığı bir dönemde geldi.

Kimler katıldı

Nvidia, açık kaynak platformu desteklemeye ve kullanmaya söz veren onlarca şirket listeledi; bunlar arasında Anthropic, Arm, Microsoft, Oracle ve SpaceX var. Agent'leri en görünür ihlalin kaynağı olan OpenAI ise adı geçen katılımcılar arasında değil.

Yasal düzenleme değil, mühendislik yanıtı

AI laboratuvarlarına on milyarlarca dolarlık GPU ve CPU çipi satarak büyük kazanç elde eden Nvidia, daha yavaş bir geliştirme çağrısı yapmıyor ya da yeni sektör düzenlemesi talep etmiyor. Pozisyonu, bazı güvenlik kontrollerinin tamamen agent'in dışında durması ve sabit, bağımsız bir koruma oluşturması gerektiği yönünde.

"AI'nin toplum için olağanüstü potansiyeli, ancak AI güvenliğini çözersek gerçekleşecek," dedi Huang bir açıklamada ve "güvenlik, tam yığın (full-stack) mühendislik gerektirir" diye ekledi.

TechCrunch'a göre bu çalışma, geliştirici Peter Steinberger'ın agent'ler için bir işletim sistemi olan OpenClaw'ı tanıtmasının ardından yaklaşık bir yıl önce başladı. Nvidia, bu kavrama kendi kurumsal düzeydeki yorumunu — NemoClaw adlı güvenli agent platformunu — Mart ayında sundu.

"Bir agent'i konuştuğunuzda, ne kadar akıllı olursa olsun, yapacağınız ilk şey tüm haklarını elinden almaktır," dedi Huang CNBC'ye, önlemleri şirketlerin insan çalışanların ve yöneticilerin izinlerini yönetme biçimiyle karşılaştırarak.

Duyuru, geliştirme hızının yavaşlatılmasının Çin'in AI'da ABD'yi geçmesine izin verebileceği konusunda uyaran isimlerden destek aldı. Girişim sermayedarı ve eski Beyaz Saray AI sorumlusu David Sacks, X'te "yakın zamandaki kaçışlar geliştirmenin durması gerektiğinin kanıtı değildi" ve "sandbox çok zayıftı" yazarak agent güvenliğini duraklatma nedeni değil bir mühendislik sorunu olarak çerçeveledi.

Neden önemli

Nvidia, agent güvenliğinin geliştirmeyi durdurmak için bir gerekçe değil, özel donanımla çözülen bir altyapı sorunu olarak eleştirilmesini öneriyor. Platform geniş çapta benimsenirse, donanım düzeyinde yalıtım, otonom agent'lerin veri merkezlerinde dağıtılma biçiminin standart bir parçası haline gelebilir — ve kullanılan izleme silikonlarının çoğu Nvidia'nın olurken, şirketin rolü eğitim ve çıkarımdan (inference) güvenlik yığınına kadar genişler.

Tasarım ayrıca güveni agent'inden ve işleten tarafından dışarıdaki bir hakeme kaydırıyor; bu da kurumların insanlar için erişim kontrolünü hali hazırda nasıl ele aldığını yansıtıyor. Bu arada OpenAI'nin destekçi listesinde yer almaması ve Nvidia'nın düzenlemeye karşı açık tutumu, güvenlik tartışmasının artık teknik olduğu kadar ticari ve politik olduğunu gösteriyor.