OpenAI'nin GPT-Rosalind-6'sı, yeni bir eğitim olmadan GPT-6 Astra ağırlıklarını yeniden kullanıyor, system card gösteriyor

OpenAI, GPT-Rosalind-6 için bir system card eki yayınladı ve en önemli açıklama, gerçekleşmeyen şeylerle ilgili: model, ek eğitim verisi ve ek bir post-training olmadan GPT-6 Astra ile aynı ağırlıklar üzerinde çalışıyor. OpenAI'nin Deployment Safety Hub'ında barındırılan ve Hacker News üzerinden görünürlük kazanan belge, okuyucuları altta yatan modelin verileri ve eğitimiyle ilgili ayrıntılar için GPT-6 Astra system card'ına yönlendiriyor.

GPT-6 Astra ile aynı ağırlıklar

Eke göre GPT-Rosalind-6, ayrı olarak eğitilmiş bir model değil, GPT-6 Astra'nın yeniden dağıtımı. Bu çerçeveleme değerlendirme açısından önemli. GPT-Rosalind-6 ile genomik öncüsü GPT-Rosalind-5.5 arasındaki herhangi bir yetenek farkı, yeni alana özgü bir eğitimi değil, temel model neslindeki sıçramayı yansıtıyor. Ve GPT-Rosalind-6 ile GPT-6 Astra arasındaki genel erişimdeki herhangi bir davranış farkı, modelin kendisinden değil, dağıtım tercihlerinden — erişim kısıtlamaları, güvenlik önlemleri ve yapılandırmadan — kaynaklanıyor.

Genomik kıyaslama sonuçları

Ek, bir ajanın biyolojik veriler üzerinde niceliksel analizler planlama ve yürütme yeteneğini test eden GeneBench Pro v13 sonuçlarını raporluyor. OpenAI, her akıl yürütme bütçesinde 129 problem başına model başına yedi yanıt üzerinden tek denemede başarıyı tahmin etti. Test edilen en yüksek akıl yürütme bütçesinde GPT-Rosalind-6, yüzde 37,7'lik tek deneme başarısına ulaşırken GPT-Rosalind-5.5 için bu oran yüzde 16,7 idi — geniş bir nesil farkı. OpenAI, değerlendirmenin üretimden farklı, kıyaslamaya özgü bir yapılandırmaya dayandığı konusunda uyarıyor; bu nedenle rakamlar kutudan çıktığı gibi performansı doğrudan tanımlamıyor.

Biyogüvenlik yetenek değerlendirmesi

GPT-6 Astra'da olduğu gibi OpenAI, lansmanı Biyolojik ve Kimyasal alanında Yüksek yetenekli olarak sınıflandırıyor. Değerlendirme, GPT-6 Astra system card'ında açıklanan dört Yüksek ve dört Kritik yetenek değerlendirmesini yeniden kullanıyor. Yüksek değerlendirmeler ıslak laboratuvar çalışması ve sorun giderme bilgisini test ederken, Kritik olanlar bir uzmanın tehlikeli yeni bir tehdit oluşturmasına yardımcı olabilecek biyolojik tasarım yeteneklerini araştırıyor. GPT-Rosalind-5.5 için raporlanan iki değerlendirme — zor-negatif protein bağlanması ve DNA dizisi tasarımı — emekliye ayrıldı.

OpenAI, bu değerlendirmelerin belirli yetenekler hakkında kanıt verdiğini, biyolojik zarar verme yeteneğinin eksiksiz bir testi olmadığını vurguluyor; Kritik yetenek eşiklerinin, değerlendirmeler rafine edildikçe değişebilecek, uzman görüşüne dayanan ön tahminler olduğunu belirtiyor. Raporlanan sonuçlar pass@1 puanlarını ve, Yüksek değerlendirmeler için, güvenlik eğitiminin başka türlü gizleyebileceği yeteneği tahmin etmek amacıyla reddetmeleri doğru yanıt olarak sayan, reddetmeye göre ayarlanmış puanları içeriyor.

Güvenlik önlemleri ve erişim kontrolleri

GPT-Rosalind-6, OpenAI'nin tüketici ChatGPT modellerinden daha meşru ileri yaşam bilimleri çalışmaları için daha yardımcı olacak şekilde konumlandırılmış; GPT-6 Astra'nın Genel Erişim'de reddedebileceği bazı ikili kullanımlı konular da dahil olmak üzere iş akışlarını destekliyor. OpenAI, modelin ciddi biyolojik silahlandırma düzeyinde mümkün kılabilecek talepleri reddetmek veya bunlara güvenli şekilde yanıt vermek için yine ayarlandığını ve bu eğitimin, sınıflandırıcılardan ve çevrimdışı azaltıcılardan ayrı tutulduğunu, böylece güvenlik katmanlarının zayıflıkları paylaşmadığını söylüyor. Ek, bu ayarlamanın bu sürüm için ek bir post-training yapılmadığı ifadesiyle nasıl ilişkili olduğunu açıklamıyor.

GPT-Rosalind-6 güvenilir erişimli bir dağıtım olduğu için OpenAI, esas olarak Biosecurity – Severe kıyaslamasına odaklandığını söylüyor; ayrıca puanlama ölçütleri uyarınca işaretlenen bir yanıtın mutlaka tartışmasız güvensiz olmadığını belirtiyor. Davranışsal değerlendirmeler, mevcut modellerin yetersiz kaldığı durumların çevresinde bilinçli olarak oluşturuldu ve OpenAI, lansmandan sonra güvenlik sinyallerini, müşteri deneyimini ve kötüye kullanım örüntülerini izlemeye devam edeceğini ve dağıtım geliştikçe güvenlik önlemlerini ayarlayabileceğini söylüyor. GPT-6 Astra sonuçlarıyla karşılaştırmalar, değerlendirme sürümleri, çıkarım ayarları, puanlama ve örnek kapsamı çalışmalar arasında farklılık gösterdiğinden kontrollü değil betimleyici olarak etiketleniyor.

Onaylı müşteriler ayrıca daha yüksek yetenekli bir yaşam bilimleri modeline uygun güvenlik kontrollerini sürdürmek zorunda: güçlü kimlik ve erişim yönetimi, yönetici kontrolleri, onaylı dağıtıma uygun en düşük ayrıcalıklı erişim ve bir kullanıcıya artık gerek olmadığında erişimi kesen çıkış prosedürleri. Model erişimi ve veri saklama düzenlemeleri ayrı ayrı onaylanıyor.

Neden önemli

Ek, sınır laboratuvarlarının artık alan modellerini nasıl paketlediğine net bir örnek: GPT-Rosalind-6'nın öne çıkan genomik kazanımları tamamen GPT-6 Astra'nın mevcut ağırlıklarından geliyor, yeni bir eğitimden değil. Değerlendiriciler yetenek iddialarını, zaten yayımlanmış bir temel model artı bir dağıtım politikasına dair iddialar olarak ele almalı ve kıyaslama puanlarını, üretim dışı ayarlar altında üretildikleri uyarısıyla okumalı. Sürüm ayrıca biyoloji için güvenilir erişimli yapay zekânın şeklini çiziyor — tüketici ürünlerinden ikili kullanımlı araştırmalarda daha izin verici, herhangi bir model düzeyinde yenilik yerine ön nitelikli eşikler ve müşteri tarafı güvenlik yükümlülükleri üzerine kurulu.