· kaynak OpenAI blog/news
OpenAI perplexity değerlerini yayımladı ve ortak ön eğitim limitleri önerdi
OpenAI, ön eğitim perplexity'sinin yeni yapay zeka yeteneklerinin ortaya çıkışını izlediğini savunuyor, kendi loss değerlerini açıklıyor ve metriğe bağlı sektörel geliştirme limitleri öneriyor.

OpenAI tek bir sayı için gerekçeyi ortaya koyuyor
OpenAI, modern yapay zekadaki ilerlemenin en bilgilendirici ölçütünün çoğu kullanıcının hiç görmediği bir şey olduğunu savunan bir blog yazısı yayımladı: perplexity, yani bir modelin elinde tutulan veride bir sonraki token'ı tahmin ederken elde ettiği cross-entropy loss'u. Düşük sayılar daha iyi tahmin anlamına geliyor. Bu savın yanı sıra şirket kendi iç perplexity değerlerini de açıkladı; yazı bu adımın rakiplere OpenAI'nin nerede durduğunu daha net gösterdiğini kabul ediyor, ancak bunun sektör genelinde paylaşılan güvenlik standartlarının aciliyeti tarafından ağır bastığını söylüyor.
Sıkıştırma temel olarak
Yazıya göre modern yapay zeka, belirli yetenekleri hedefleyen çeşitli tekniklerle geleneksel yazılım geliştirmeye benzeyebiliyor. Yazar, pratikte bu tekniklerin çoğunun çok daha basit ve daha az yorumlanabilir bir süreçten, yani çok büyük bir külliyat üzerinde bir tahminci — eşdeğer olarak bir sıkıştırıcı — eğitmekten zeka devşirdiğini yazıyor. Geliştirme üç aşamada tasvir ediliyor: büyük bir bilgisayar inşa etmek, yapılandırılmamış veriyle bir sıkıştırıcıyı ön eğitmek, ardından modelin gizil yeteneklerini ortaya çıkarmak için prompting, finetuning ve pekiştirmeli öğrenme uygulamak. Yazı, yazarın daha önce "yabancı bir zihin" diye adlandırdığı şeyin — yetenekleri önceden tahmin edilmesi zor olan — yaratılmasını, bu yetenekleri dışarı çıkarmaya yönelik sonraki hedefli çalışmadan ayrıştırıyor.
Yetenek kilometre taşları loss'u izliyor
OpenAI, ön eğitimi yıllardır bu şekilde izlediğini söylüyor ve yazı, yetenek sıçramalarını ana değerlendirme veri setindeki loss değerleriyle eşleştiriyor. Eski veri setlerinde perplexity rekoru kıran GPT-2, tutarlı biçimde tutarlı paragraflar yazan ilk model sayılabilir. GPT-3, bir görevi birkaç bağlam içi örnekle kavrayabiliyordu. Yaklaşık 0.99 log-perplexity'deki GPT-3.5 akıcı sohbet yürütebiliyor ve ilk ChatGPT'yi güçlendiriyordu. Yaklaşık 0.91'deki GPT-4, chain-of-thought akıl yürütmeyi üretken biçimde kullanıyordu; bu da daha sonra bugünkü akıl yürüten modelleri motive etti. OpenAI'ye göre 0.8'in altında, siber güvenlik ve matematik gibi alanlarda dönüştürücü yetenekler ortaya çıktı.
Yazar, bu eşiklerde bu yetenekleri öngörülebilir kılan hiçbir şey olmadığını vurguluyor; tek bir sayıdaki ilerlemenin ortaya çıkan sonuçları olarak geldiler. Karşılaştırıldığında benchmark'lar sürekli değişiyor: yazı, eski değerlendirmelerin GPT-2 veya GPT-3 için pek anlam ifade etmeyeceğini ve o dönemin benchmark'larının GPT-4 tarafından büyük ölçüde doyurulduğunu belirtiyor. Savunuya göre ön eğitim loss'u bilgilendirici kalmalı. Yazar, dış değerlendirme yaparak modeller 0.68 ile 0.7 aralığına girdiğinde, türü belirtilmemiş ve bugün belki de test edilmeyen başka dönüştürücü yetenekler bekliyor.
Ön eğitim araştırması yapan yapay zeka
Yazı, yapay zekanın kendi gelişimindeki rolüne de değiniyor. Yazar "tam özyinelemeli kendini geliştirme"yi insan kontrolünü korumak için kaçınılması gereken bir durum olarak görüyor, ancak yapay zekanın ön eğitim üzerinde algoritmik araştırma yapmasında daha dar kapsamlı bir potansiyel sıçrama görüyor. OpenAI, bir değerlendirme yöntemi olarak modellerine bir yılı aşkın süredir açık matematik problemleri sunduğunu ve yaklaşık 0.76 log-perplexity'deki bir modele yükseltmenin ardından modelin yazarın çığır açıcı diye nitelediği sonuçlar üretmeye başladığını, uzun süredir çözümsüz soruların tek bir Slack başlığında art arda çözüldüğünü söylüyor. Buradan hareketle yazar, benzer bir temel ön eğitim ilerlemeleri dalgasının 2027 gibi erken bir tarihte gelmesini düşünülebilir buluyor. Hizalama ve izleme ilerlemesinin geride kalması, halihazırda baskın olan denetim yöntemlerinin daha da kötüleşmesi ve yazının değerlendirme ve eğitim farkındalığı dediği şeyin daha da artması bekleniyor.
Masadaki öneri
Somut talep bir sektör standardı. Yazar, sınır geliştiricilerine modelleri değerlendirme normlarını birlikte belirleme, ilk kullanımdan önce güvenlik senaryolarını red-team yapma ve paylaşılan şeffaflık standartlarını benimseme çağrısında bulunuyor. Bunun üzerine yazı, perplexity ve diğer ölçümlere dayanan, geliştiricilerin yapay zeka davranışını anlama ve izleme yeteneği somut bir kilometre taşına — örneğin chain-of-thought izleyicilerinin halefine — ulaşana kadar geçmemeyi taahhüt edeceği ortak geliştirme limitleri öneriyor. Amaç tekrarlanabilir bir çerçeve: ilk limiti koy, onu geçmeden önce neyin başarılması gerektiğini tanımla, sonra sonraki gelişmeyi aynı şekilde tempola.
Belirtilen sınırlılıklar
Yazı, metriğin sınırları konusunda açık sözlü. Laboratuvarlar arası karşılaştırmalar zor, çünkü geliştiriciler farklı değerlendirme veri setleri kullanıyor ve farklı veri karışımlarıyla eğitim yapıyor; OpenAI içeride izlediği veri setini rapor ediyor ve şeffaflık ortak bir hedef haline gelirse aktarılabilir karşılaştırmaların mümkün olduğunu savunuyor. Perplexity, kimsenin doğrudan önem verdiği bir göreve karşılık gelmiyor; değeri, ondaki ilerlemelerin tamamen yeni yetenekler üretme eğiliminde olması. Ayrıca ön eğitim dışındaki ilerlemeyi kaçırıyor, çünkü chain-of-thought akıl yürütme modelin perplexity'sini düşürmeden yeteneği keskin biçimde artırıyor. Ve taban bilinmiyor: sıfır loss, veri setini deterministik olarak tahmin etmek anlamına gelirdi ki yazı bunun ulaşılabilir olmasını beklemiyor, ancak verinin özündeki entropi henüz belirlenmiş değil.
Neden önemli
Bu, bir sınır laboratuuarının genel yetenek ilerlemesinin ilk yaklaşımda tek bir ölçülebilir sayıya indirgenebileceğini savunması ve noktayı yapmak için kendi sayılarını yayımlaması. Diğer geliştiriciler takip ederse sektör, herhangi bir benchmark paketinden daha uzun ömürlü bir ilerleme ölçüsüne, ayrıca koordinasyon için somut bir temele sahip olur: model adları veya çıkış tarihleri değil, ölçülen loss cinsinden ifade edilen limitler. Yazı ayrıca 0.68–0.7 aralığındaki yeni yeteneklerden 2027'ye kadar olası bir yapay zeka güdümlü ön eğitim araştırması patlamasına kadar belirli, denetlenebilir öngörüler kayda geçiriyor. Açık soru benimsenme: tek bir laboratuvarın iç veri setiyle tanımlanan paylaşılan bir metriğin ortak zemin görevi görebilmesi için önce çalışma gerekecek — yazının kendisinin de kabul ettiği bir zorluk bu.
- #openai
- #language-models
- #perplexity
- #ai-safety
- #pretraining