Jane Street, beceri haritaları ve aralıklı tekrar içeren Sokratik öğretim promptunu açık kaynak yaptı

Jane Street ne yayımladı

Kantitatif ticaret firması Jane Street, GitHub'daki herkese açık agent_skills deposunda bir Sokratik öğretim becerisi yayımladı ve dosya kısa süre içinde Hacker News'in ana sayfasında yerini aldı. socratic-tutor adlı bu beceri, bir yapay zeka ajanına ders anlatmak yerine soru sorarak öğretme talimatı veren ve öğrenen ustalık gösterene kadar devam etmesini söyleyen yapılandırılmış bir prompt.

Prompt, "teach me", "tutor me", "quiz me", "drill me" ve "help me master" gibi tetikleyici ifadeleri tanımlıyor ve bilinçli bir sınır çiziyor: "explain X" veya "what is X" gibi tek seferlik istemler normal şekilde yanıtlanmalı, öğretim oturumu başlatılmamalı. Niyet belirsizse, ajana önce tek bir kısa netleştirme sorusu sorması söyleniyor; gerekçe olarak, yanlış bir başlangıcın kullanıcıya istenmeyen bir sınav mal ederken bir onaylamanın yalnızca tek bir kelimeye mal olduğu gösteriliyor.

Bir oturum nasıl yapılandırılıyor

Oturumun başında ajan, seçilen konuyu dört ila on somut alt beceriye bölmek zorunda; geniş konular için iki düzeyli bir ağaç kuruluyor. Ardından tek tek sorulan, kolaydan zora yayılan üç ila beş sonda soruluk bir tanısal çalıştırıyor ve bu tanısal tamamlanana kadar hiçbir öğretim yapılmasına izin verilmiyor. Sonuç, her alt beceriyi altı puanlık bir ölçekte izleyen bir beceri haritası: seviye 0 (habersiz)'den seviye 3 (yardımla yapabilir)'e ve oradan seviye 5 (öretebilir ve uç durumlarla başa çıkabilir)'e kadar; her seviye değişiminde ve kullanıcı her istediğinde blok karakterli çubuklarla ASCII bir ilerleme grafiği olarak çiziliyor.

Öğretim döngüsünün kendisi de sıkı biçimde kısıtlanmış. Ajan her mesajda tam olarak bir soru soruyor ve orada duruyor; ipucu ya da örnek cevap eklemiyor. Sorular öğreneni bir sonucu tahmin etmeye, bir şeyin neden gerçekleştiğini açıklamaya, makul ama yanlış bir iddiadaki kusuru bulmaya, bir fikri yeni bir duruma uygulamaya ya da iki fikri bağlamaya itmeli. Öğrenen yanlış cevap verdiğinde ajan cevabı açıklamamak zorunda; öğrenenin muhakemesindeki çelişkiyi ortaya çıkaran daha dar bir soru soruyor ve yalnızca iki üç başarısız denemeden sonra doğrudan açıklama yapıyor, ardından aynı fikri hemen farklı bir açıdan yeniden sınıyor. Öğrenen doğru olduğunda, ajan zaman zaman şeytanın avukatlığını oynayarak doğru cevapların baskı altında da savunulabilmesini sağlamalı. Araçlar mevcutsa pratik alıştırmalar da kurabilir ve öğrenenin anlatımı yerine gerçek çıktıyı kontrol edebilir.

Katı derecelendirme ve aralıklı tekrar

Değerlendirme kuralları bir yapay zeka öğretmeni için alışılmadık derecede sert. Seviyeler kazanılmalı: bir seviye, en az iki bağımsız kontrol boyunca gösterilen performansın ardından yükseliyor ve bunlardan biri az önce açıklanan bir şeyin tekrarı değil, istemsiz hatırlama olmalı. Belirsiz ya da kısmen doğru cevaplar sayılmıyor. Önceki alt beceriler, aralıklı tekrar biçiminde habersiz olarak yeniden sınanıyor ve bir tekrarın başarısız olması seviyeyi düşürüyor. Seviye 5 ayrıca bir uç durumu veya adversarial bir soruyu ele almayı ve kavramı ona öğretim yapılacak kadar güvenilir biçimde açıklamayı gerektiriyor. Dalkavukluk açıkça dışlanıyor; prompt, ajana yanlış cevaplara cesaretlendirme yerine sonda bir takip sorusuyla yanıt vermesini buyuruyor.

Kurs yalnızca her alt beceri hedef seviyeye ulaştığında sona eriyor — varsayılan olarak beşte dört, kullanıcı tam ustalık istediyse beş — ve ardından her alt beceri için en az bir soru artı bir bütünleştirici problem içeren son bir karma değerlendirme geliyor. Geçerse öğrenen nihai haritayı ve en zayıf alanlarının özetini alır; başarısız olursa döngü yeniden başlar.

Öğrenen için komutlar

Prompt ayrıca her zaman kullanılabilen komutlar tanımlıyor: "show progress" beceri haritasını çiziyor, "harder" ve "easier" zorluğu ayarlıyor, "just tell me" yalnızca geçerli soru için Sokratik modu askıya alıyor. Kalıcılığı iki komut hallediyor: "save state" konuyu, beceri haritasını ve yanılgılarla kapsama ilişkin notları içeren kompakt bir blok çıkarıyor — bu blok yeni bir oturuma yapıştırılabiliyor — ve "resume from:" bu durumu geri yükleyip kaldığı yerden devam ettiriyor.

Neden önemli

Yapay zeka destekli öğretim tanıdık bir biçimde başarısız oluyor: model geçimlidir, cevapları olduğu gibi verir ve akıcı gelen yanıtları gerçek anlama sanır. Jane Street'in beceri dosyası bunun ayrıntılı, açık bir karşı örneği — öğretmeyi bir değerlendirme sorunu olarak ele alan, prompt içine açık yerleştirme, katı derecelendirme, aralıklı tekrar ve adversarial yeniden sınama gömülmüş bir şartname. Düz bir markdown dosyası olarak herkese açık bir depoda geldiği için yeniden kullanılabilir bir yapıt işlevi de görüyor: geliştiriciler kuralları okuyabilir, zorluk veya derecelendirme eşiklerini uyarlayabilir ve kendi ajan kurulumları için kaydet-ve-devam et durum mekanizmasını ödünç alabilir. Dil modelleri üzerine eğitim özellikleri inşa eden herkes için, bir sohbet botunun öğretmen gibi davranmaya başlaması için bir promptun ne kadar yapıya ihtiyaç duyduğunun somut bir referansı.