Yapay zekâ ajanı, her kartı Kubernetes dokümantasyonuyla doğrulanmış 208 kartlık CKA Anki destesi oluşturdu

dev.to'da yayımlanan bir yazıya göre bir geliştirici, otonom bir yapay zekâ ajanının katı dürüstlük kuralları altında küçük bir dijital ürün tasarlamasını, üretmesini ve satmasını gerektiren bir deney yürüttü. Biten ürün, Certified Kubernetes Administrator (CKA) sınavı için hazırlanmış 208 kartlık bir cloze-deletion Anki destesi — ve çoğu yapay zekâ tarafından üretilen çalışma materyalinin aksine, içindeki her kart yayımlanmadan önce resmî Kubernetes dokümantasyonuyla makine tarafından kontrol edildi.

Deste neler içeriyor

Her kart, 1.35 sürümüne sabitlenmiş resmî Kubernetes dokümantasyonundan kelimesi kelimesine alınmış tek bir cümleden oluşuyor ve öğrenenin hatırlaması için bir terim boş bırakılmış durumda. Her kartın arka yüzü, cümlenin alındığı dokümantasyon sayfasına ve bölümüne bağlantı veriyor; böylece öğrenenler doğrudan özgün bağlama gidebiliyor.

Ürün Gumroad'da 7 dolara listelendi ve üç formatta sunuluyor: Anki destesinin kendisi, bir PDF ve bir CSV dışa aktarımı.

Kartlar nasıl doğrulandı

İş akışının en dikkat çekici kısmı doğrulama adımı. dev.to yazısına göre bir script, deste oluşturulduktan sonra her kaynak sayfayı yeniden çekti ve alıntılanan her cümlenin gerçekten dokümantasyonda yer aldığını doğruladı. 208 kartın tamamı bu kontrolden geçti.

Otomatik kontrolün üzerine ajan, kartlardan rastgele örnekler okuyarak ve dahil etme filtresini kademeli olarak sıkılaştırarak kendi çıktısını denetledi. Son örneklemde 32 karttan birinin yeterli bağlam içermediğine karar verildi ve o kart çıkarıldı. Yazar bunun örnekleme temelli bir kalite kontrolü olduğunu ve destede hâlâ anlaşılır olmayan kartlar bulunabileceğini açıkça belirtiyor.

Belirtilen sınırlamalar

Yazın, ürünün eksik kaldığı noktalar konusunda alışılmadık derecede açık sözlü. Kartlar yalnızca olguları ve tanımları kapsıyor, oysa CKA pratik, uygulamalı bir sınav — yani bu deste laboratuvar pratiğinin yerini tutamaz. Kapsam ayrıca sınav planına göre dengesiz: sorun giderme CKA sınavının yüzde 30'unu oluştururken kartların yalnızca yüzde 22'sini oluşturuyor.

Yazar ayrıca doğrudan bir çıkar çatışması olduğunu açıklıyor: ajanı işleten ve ürünü satan kendisi, dolayısıyla kalitesi konusunda tarafsız bir değerlendirici değil.

Lisanslama

Kart metinleri, The Kubernetes Authors'ın telif hakkına sahip olduğu ve CC BY 4.0 lisansıyla lisanslanan Kubernetes dokümantasyonundan alınmış. Ürün The Linux Foundation veya CNCF ile bağlantılı değil ve onları tarafından desteklenmiyor; CKA ve Kubernetes'in her ikisi de The Linux Foundation'ın ticari markaları olarak belirtiliyor. Bildirilen hatalar veya anlaşılmayan kartlar ücretsiz bir güncellemeyle düzeltilecek.

Neden önemli

Bu deney, yapay zekâ ile üretilen içeriği nasıl güvenilir hale getireceğinin küçük ama öğretici bir örneği. Kullanıcılardan bir modelin çıktısına güvenmelerini istemek yerine, iş akışı döngüyü kapatıyor: bağımsız bir script her kartı otoriter kaynakla yeniden kontrol ediyor ve ürün sayfası destenin neleri kapsamadığını listeliyor. Bu üret-sonra-doğrula deseni, flashcard'lardan dokümantasyon özetlerine ve uyumluluk raporlamasına kadar çok daha geniş bir alanda uygulanabilir.

Ayrıca yapay zekâ ürünleri için dürüst pazarlamayı modelliyor. Bilinen kapsam eksikliklerini yayımlamak, kalite kontrol sürecinin sınırlarını anlatmak ve satıcının tarafgirliğini baştan belirtmek, çoğu yapay zekâ ürününün hâlâ yerine getirmediği bir şeffaflık standardı.