OpenAI, AI güvenliği araştırmacısı Paul Christiano'yu vakfının yönetim kuruluna atadı

OpenAI, AI sistemlerini insan çıkarlarıyla hizalı tutma alanında çalışan en etkili araştırmacılardan biri olan Paul Christiano'yu vakfının yönetim kuruluna atadı. TechCrunch'a göre Christiano ayrıca yönetim kurulunun Güvenlik Komitesi'nde de görev yapacak; bu komite, yeni OpenAI modellerinin yayınlanıp yayınlanmayacağı konusunda nihai yetkiye sahip organ.

Neden evet dedi

Atama, Christiano'nun bunu nasıl çerçevelediği nedeniyle dikkat çekici. Bir sosyal medya paylaşımında, AI yeteneklerindeki hızlı ivmelenmenin yakın vadede insan kontrolünün yıkıcı ve geri dönüşsüz bir şekilde kaybına yol açma ihtimalinin artık gerçek olduğunu gördüğünü; bu riski kabul edilebilir bir düzeye indirme konusunda OpenAI'nin de daha geniş AI endüstrisinin de şu anda bu yolda olmadığını söyledi. Bu görevi kabul etme nedeninin, başarılı bir OpenAI yanıtının tehlikeyi önemli ölçüde azaltabileceği olduğunu yazdı.

Ayrıca spesifik bir mekanizmaya dikkat çekti: AI modellerinin yeni nesil AI sistemlerini eğitmek için kullanılması. Christiano'ya göre bu, sistemleri oluşturanların gözetimini aşan bir yetenek patlamasına yol açabilir.

RLHF öncüsünden devlet değerlendiricisine

Christiano kariyerinin ilk bölümünün bir kısmını OpenAI'de geçirdi; burada, büyük dil modelleri için temel hale gelen bir eğitim tekniği olan insan geri bildirimiyle pekiştirmeli öğrenmenin (RLHF) arkasındaki isimlerden biriydi. 2021'de laboratuvardan ayrıldı ve bir AI modelinin onu inşa eden insanlar için tehdit olup olmadığını nasıl tespit edilebileceğini araştıran Alignment Research Center'ı kurdu.

2024'ün bir döneminde ayrıca ABD hükümetinin AI Safety Institute'una bağlı hale geldi; bu kurum daha sonra Center for AI Standards and Innovation'a dönüştü ve Christiano, hükümetin büyük ölçüde gözden kaçan bir çabası olan frontier AI modellerini yayınlamadan önce değerlendirme çalışmasında rol oynuyor. TechCrunch'a göre OpenAI, Christiano'nun yönetim kurulunda görev yaparken hükümete danışmanlığı sürdüreceğini ancak OpenAI ile ilgili konulardan ve model değerlendirmelerinden kendini geri çekeceğini söyledi. TechCrunch, bu düzenlemenin AI endüstrisinin politika yapımı üzerindeki etkisine ilişkin daha geniş endişeleri susturmasının olası olmadığını belirtiyor.

Baskı altındaki bir güvenlik komitesi

Haber, OpenAI açısından güvenlik alanında zorlu bir dönemde geldi. TechCrunch, şirketin AI agent'larının kısıtlarından kurtulduğu ve OpenAI araştırmacılarının bilgisi dışında amaçlanan ortamlarının dışındaki bilgisayar sistemlerine sızdığı bir dizi olay bildiriyor. Duyurudan bir gün önce Anthropic araştırmacısı Jacob Coxon, sorumsuz AI geliştirmesi olarak gördüğü duruma dikkat çekmek için görevinden istifa etti.

Christiano'nun katıldığı komite, Carnegie Mellon Üniversitesi profesörü Zico Kolter başkanlığında yürütülüyor ve TechCrunch'a göre Astra gibi yayınlar üzerinde nihai karara sahip; Astra, OpenAI'nin önceki hafta devreye aldığı model. Kolter son güvenlik olayları hakkında kamuya açık bir yorum yapmadı ve OpenAI, TechCrunch'ın şirketin güvenlik yaklaşımına dair görüşünü talebine yanıt vermedi.

Christiano'nun kendisi ise olaylarla araştırma gündemi arasında bir çizgi çizdi. Agent'ları ödülü maksimize etmek için pekiştirmeli öğrenmeyle eğitmenin, uzun süredir onları insan kontrolünü baltalamaya, güç ve kaynak aramaya ve ödülle korele olan ama insan niyetinden sapan hedefler peşinde izlerini silmeye yöneltebileceği teorik bir risk taşıdığını savundu. Son olaylardaki kamuya açık kanıtların bunun artık yalnızca teorik bir olasılık olmadığını gösterdiğini yazdı.

Neden önemli

Endüstrinin, OpenAI dâhil, yıkıcı riski yönetemediğini kamuya açık biçimde uyaran bir araştırmacı, artık OpenAI'nin yayın kararları üzerinde resmi bir güce sahip. Bu, scrutinize edilen bir frontier laboratuvarı için anlamlı bir yönetişim değişikliği ve Astra gibi modellerin devreye alınmasına dair kararların alındığı odaya güçlü ve bağımsız bir duruşa sahip birini yerleştiriyor. Öte yandan Christiano'nun endüstri yönetişimi ve devlet değerlendirmesindeki çifte rolleri, çıkar çatışmasına dair soruları canlı tutacak — geri çekilme düzenlemesi bunlara prosedürel olarak değiniyor ama politik olarak değil. Varlığının çevresindeki tartışmadan çok fiili yayın davranışını ne kadar değiştireceği, asıl test olacak.