Eğitmen, yapay zeka ajanları her take-home ödevini tamamladıktan sonra ML dersini yeniden tasarlıyor

Erken bir uyarı, göz ardı edilen

The Last Software Engineer'da yazan — Hacker News'ın ana sayfasına ulaşmış bir hesap — bir eğitmen, ChatGPT'nin piyasaya sürülmesinden önce, yaklaşık 2021'den bir testi anımsıyor. Vincent Hellendoorn, GPT-3'ü dersin okuma quizlerine yönlendirmeyi önerdi ve model, atanmış makaleyi hiç görmeden notlandırma rubriğini geçmeye yetecek yanıtlar üretti. O zamanlar hiçbir şey değişmedi. Beş yıl sonra yazar, yapay zeka ajanlarının artık dersteki her ödevi tamamlayabildiğini ve dersin öğretmeyi amaçladığı beceriler neredeyse aynı kalırken, değerlendirmelerinin çoğunun buna yanıt olarak yeniden inşa edildiğini söylüyor.

Ne değişti, ne değişmedi

Ders, Machine Learning in Production: ML modellerinin çevresine üretim sistemleri kurmayı, ağır bir MLOps odağıyla ele alan, 100 ile 170 öğrencinin kayıt olduğu ileri düzey bir ders. Öğrenme hedefleri kod yazmak veya belirli araçları kullanmak değil, mühendislik ödünleşimleri, riskleri öngörme ve hafifletme ve ekip çalışmasıyla ilgili — yazarın dediğine göre hedeflerin yeniden tasarlamadan büyük ölçüde sağlam çıkmasının nedeni de bu. Öğrencilere, yazılı ve sözlü sınavlar dışında, derste her yerde yapay zekayı her biçimde ve atıf olmadan kullanma izni veriliyor. Eğitmenin konumu, yapay zeka kullanımını polis gibi takip etmenin gerçekçi olmadığı ve bu araçların sorumlu kullanımını öğrenmenin zaten eğitimin bir parçası olduğu yönünde.

Araştırma ile gerçekliğin çarpıştığı yer

Anlatının rahatsız edici çekirdeği şu: Üretken yapay zeka, eğitim araştırmalarının gerçekten desteklediği öğretim uygulamalarını aşındırıyor. Geri bildirimli, sık ve düşük riskli ödevler, birkaç yüksek riskli sınava tercih ediliyor; ama düşük riskli formatlar tam da ajanların tamamlayabildiği formatlar olduğundan, not ağırlığı sınavlara kayıyor. Hatalardan öğrenmeyi ödüllendirmek için tasarlanan yeniden gönderme güvencesi, makine üretimi iş gönderip yalnızca işaretlenen sorunları yeniden denemede düzelten öğrenciler tarafından istismar ediliyordu; yeniden göndermeler artık %10 ceza taşıyor. Sınıf içi tartışma soruları da bazı gruplar tarafından modellere devrediliyordu. Yazar bunu, tamamen tek bir final sınavıyla notlandırılan ve %50 ila %80 başarısızlık ve bırakma oranlarına sahip Alman üniversite derslerine ilişkin kişisel deneyimiyle karşılaştırıyor ve istismara rağmen düşük riskli etkileşimleri korumayı seçiyor; bazı öğrencilerin derin öğrenme olmadan geçiş yapacağını kabul ederek.

Yeni değerlendirme modeli

Evde yazılı akıl yürütme gerektiren notlandırılmış her şey kaldırıldı. Yazar hâlâ bir çözümü betimleyen ve koda işaret eden raporlar istiyor ve bu belgeler değerlendirme değil yönlendirme için var olduğundan, yapay zeka üretimi sürümler almayı sorun etmiyor. Yansıma soruları — neyin zor olduğu ya da ekip çalışmasının nasıl gelişebileceğini soran türden — anlamsız hale geldi, çünkü bir rubrikte ifade edilebilen her beklenti bir modele de devredilebilir. Onların yerini, her ödevden sonra her bir ödev puanının %20'sine denk gelen, 15 dakikalık, geçti/kaldı şeklinde asistan görüşmeleri alıyor; bunların tekrarları zamana mal oluyor ama puana değil. Asistanların yüksek standartları korumaları teşvik ediliyor ve yazar birçok öğrencinin ilk denemede kaldığını söylüyor. Stanford'un CS221 dersinin bu dönem benzer bir format üzerinde kontrollü bir deneme yürüttüğü bildiriliyor.

Okuma quizleri dönüştürülmek yerine tamamen bırakıldı. Atanan okumalar yarıya indirildi ve puanlardan koparıldı; içerikleri sınıf içi tartışmaya katıldı — çoğu öğrencinin makaleleri ne olursa olsun bir modelle özetlemeye devam edeceğinin kabulü olarak. Kafka, Grafana, Docker ve Weights and Biases gibi araçlar etrafında kurulan haftalık laboratuvarlar tasarım gereği küçük ve iskeletlenmiş durumda ve bu nedenle kodlama ajanları için otomatikleştirmesi çok kolay; artık öğrencilerin tamamlama kanıtı gösterdiği ve takip sorularını yanıtladığı yüz yüze, geçti/kaldı check-in'leriyle doğrulanıyorlar.

Personel faturası ve yeni başarısızlık biçimleri

Bu model insan gücüyle çalışıyor. Ders, asistan başına haftada yaklaşık 10 saat iş ile 20:1 öğrenci-asistan oranında yürütülüyor ve yalnızca check-in'ler asistan başına iki haftada yaklaşık 300 dakika tüketiyor — yazar, bu durumun sürdürülebilir olduğunu söylerken personel durumunun şanslı olduğunu da kabul ediyor. Daha yeni bir sorun da ortaya çıktı: öğrencilerin canlı Zoom tartışmaları sırasında Cluely gibi araçları kullanarak yanıtların kendilerine aktarılmasını sağladıkları gözlendi; bu yüzden gelecekteki check-in'ler muhtemelen yalnızca yüz yüze olacak.

Neden önemli

Bu, yapay zeka baskısının bir bilgisayar dersine ne yaptığına dair somut, yayımlanmış bir plan: anlama değerlendirmesi denetimli, konuşma temelli ortamlara göç ederken, denetimsiz iş ya notlandırılmıyor ya da yapay zeka destekli olarak kabul ediliyor. Gerçek bir ödünleşimi belgeliyor — bütünlük, araştırmanın öğrenmeyi desteklediğini söylediği uygulamalar pahasına satın alınıyor — ve gerçek maliyetin müfredata değil, personel ve öğrenci zamanına bindiğini gösteriyor. Cömert asistan bütçeleri olmayan kurumlar ya da hedefleri doğrudan kod yazmak olan dersler aynı baskıyı çok daha keskin hissedecek. Daha geniş sinyal net: take-home iş artık bireysel yeteneği göstermiyor ve onu notlandıran herkes — üniversitelerde veya işe alım süreçlerinde — artık bunun gerçekte ne için olduğunu karar vermek zorunda.