AWS'nin Trust in Depth çerçevesi, yapay zeka ajanlarına zorunlu kılavuzlarla korunmuş özerklik verilmesini özetliyor

AWS ne öneriyor

AWS, Trust in Depth adını verdiği bir çerçeve yayımladı; bu çerçeve, yapay zeka ajanlarının kendi başlarına hareket etmesini isteyen ama idari kontrolden vazgeçmek istemeyen kuruluşlar için bir dizi kılavuzdan oluşuyor. İlk olarak Agentic Affairs blogunda ortaya çıkan ve dev.to üzerinde yayımlanan bir analize göre çerçevenin merkezindeki argüman, özerkliğin yalnızca ajanın eylemlerinin doğrulanabileceği yerlerde verilmesi ve insan yargısının gerçekten gerektiği kararlara saklanması gerektiği.

Analiz, çerçevesi pazarın şu anda nerede olduğuna dair açık sözlü bir kabul olarak okuyor: işletmeler henüz ajanların gözetimsiz çalışmasına rahat değil ve sunulan gerçek ürün ajanın kendisi değil, ajanın etrafına sarılan kontrol katmanı. Çerçeve ayrıca AWS'nin ajan iş yükleri için yönetilen servisi olan Bedrock AgentCore ile yakından bağlantılı ve yazı bunu bir ilkeler dizisi kadar o servis için bir ürün yol haritası olarak da ele alıyor.

Hedeflediği sorun

Analizin ortaya koyduğu şekliyle asıl sorun, her ajan eylemi için insanı sürece dâhil etmenin ölçek büyüdüğünde işe yaramayı bırakması. Onaylar birikir, gözden geçirenler yorulur ve önemli hatalar yakalanmaz olur. Bu arada yetenekli ajanlar boş beklerken, değerli işler insan onayı sırasına takılır kalır. Önerilen çare modele daha fazla güvenmek değil, gözetimsiz eylemin tam olarak denetlenebildiği ölçüde izin verilen bir yapı kurmaktır.

Kapsam ve kimlik önce gelir

Analiz çerçevenin birkaç alanını adım adım ele alıyor. İlki, ajan henüz çalışmadan önce yapılan kapsamlandırma: ajanın hangi görevlerden sorumlu olduğu, hangi araçlara ve verilere dokunabileceği ve nerede durup soracağı kararlarının belirlenmesi. "Müşterinin sorununu çöz" gibi belirsiz bir hedef sınırlar hakkında hiçbir şey söylemez ve analiz, kimsenin bilerek vermediği izinler — bir araçla veya idari bir rolle paket halinde gelen ayrıcalıklar — konusunda uyarıda bulunuyor. Politika ne kadar dar ve açık olursa, ajan tek başına güvenle yapabileceği iş o kadar artar; kapsamlandırmanın en zor kısım olarak nitelenmesinin nedeni de bu.

Çerçevenin "Know" adını verdiği ikinci alan, ajanın kendi bilgisinden çok operatörün ajan hakkındaki bilgisiyle ilgilidir. Ekipler ajanları herkesin envanterine kaydedebileceğinden hızlı bir şekilde ortaya çıkarıyor ve izlenmeyen bir ajan kontrolsüz bir ajandır. Her ajan kendi kimliğini taşımalı ve her eylemde doğrulanmalıdır; böylece bir şey ters gittiğinde kurum tam olarak hangi ajanın ne yaptığını ve kimin yetki verdiğini tespit edebilir.

Sınırlar ajanın dışında uygulanır

Üçüncü ilke, bir ajanın asla kendi kısıtlamalarını denetlemekten sorumlu olmaması gerektiğidir. Bir ajan tek tek izinli on adım atabilir ve yine de kimsenin istemediği bir noktaya varabilir — veri sızdırma, görevten sapma veya izinli eylemleri yasak bir sonuçta birleştirme. Analize göre çerçeve, zorunlu uygulamayı ajanın çevresindeki ortama yerleştiriyor, her araç çağrısına deterministik olarak uyguluyor ve bir seferde tek adım yerine tüm eylem dizileri üzerinden değerlendiriyor. Kritik olan, bu denetimlerin ajan hatalıyken, manipüle edilmişken veya prompt injection altındayken de yürürlükte kalmasıdır; çünkü ajan, kendi işletmediği korumaları devre dışı bırakma yetisine sahip değildir.

Gözlemle, kanıtla, yükselt

Son alan doğrulamayla ilgili. Bir sistem panelde sağlıklı görünürken yanlış veri getirmiş, yanlış aracı çağırmış veya yanlış yola girmiş olabilir. Çerçeve, gerçekte ne olduğunun yeniden inşa edilmesini — bağlam, araç çağrıları, politika kararları, sonuçlar — ve başarısızlıkların test vakalarına dönüştürülmesini istiyor. Otomatik akıl yürütme, "erişimi yalnızca bir yönetici onaylayabilir" gibi bir kuralın her durumda geçerli olduğunu kanıtlayabilir; ama dostane bir tondan soft nitelikler gibi şeyleri kanıtlayamaz. Kanıtın uygulanamadığı yerlerde öneri şudur: erişimi kısıtla, davranışı değerlendir ve gerçek belirsizliği bir kişiye yönlendir.

Analizdeki uyarılar

dev.to yazısı kendi sınırları hakkında açık sözlü. Çerçevenin fikirlerinin yalnızca AgentCore değil herhangi bir platforma tercüme edilebildiğini — bunu AWS'nin kendisine atfediyor — ancak şu anda çerçevenin ardında ölçülmüş sonuçların, benimseme rakamlarının veya bağımsız değerlendirmelerin bulunmadığını da belirtiyor. Yazının çerçevesine göre Trust in Depth kanıtlanmış bir sonuçtan çok tutarlı bir öneri ve kuruluşlar özerkliği yalnızca kuralların uygulandığını, performansın güvenilir olduğunu ve başarısızlıkların tespit edilip ele alınabildiğini doğruladıkça genişletmeli.

Neden önemli

Ajan kullanan çoğu kuruluş aynı ödünleşimle karşı karşıya: ajanları işe yaramaz kılan onay kapıları ya da kimsenin onaylamayacağı denetimsiz özerklik. Trust in Depth, bir satıcının bu orta yolu adlandırma girişimidir — doğrulanabilecek olanı doğrula, sınırları ajanın dışında uygula ve insanları yargının gerçekten gerektiği yerde tut. AWS üzerinde çalışan ekipler için bu aynı zamanda Bedrock AgentCore'nin nereye gittiğinin bir önizlemesi; diğer herkes için ise taşınabilir bir kontrol listesi olarak işlev görüyor. Analizin kapanış uyarısı akılda tutulmaya değer: şimdilik çerçeve kanıttan çok argümana dayanıyor.