deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak Hacker News – Front Page (native)

'Lean'da doğrulandı' ifadesinin gerçekte ne kanıtladığı ve yapay zekâ tarafından üretilen ispatların nasıl denetleneceği

Xena Project'te yayımlanan bir yazıya göre 'Lean'da kontrol edildi' gerçek ama koşullu bir sinyaldir: Yapay zekâ tarafından üretilen biçimsel ispatların doğruluk iddiası kazanabilmesi için önerme kontrolü, sandbox'ta derleme ve bütünlük denetimi gerekir.

'Lean'da doğrulandı' ifadesinin gerçekte ne kanıtladığı ve yapay zekâ tarafından üretilen ispatların nasıl denetleneceği

Bir sinyal, bir hüküm değil

OpenAI'nin yakın zamanda yayımladığı 722 matematik makalesinin yaklaşık %45'ine Lean kodu eşlik ediyordu; Xena Project'in Hacker News'in ana sayfasına taşınan blog yazısına göre, biçimselleştirilmemiş üç makale ise bir işaret hatası nedeniyle geri çekildi. Bu karşıtlık iki zıt ve aynı derecede yanlış okumaya davet ediyor: Ya Lean kodu eşliğindeki her şey doğru olmak zorundadır, ya da sistemin ses slutsuzluk hataları yaşaması ve yapay zekâ modellerinin bilinen şekilde ödül hilesi yapması nedeniyle Lean doğrulaması değersizdir. Yazı bir orta yol savunuyor. Derlenen bir Lean ispatı gerçekten güçlü bir sinyaldir; ancak yapay zekâ tarafından üretilen kod için bu sinyal ancak bir dizi testten sonra doğruluk iddiasına dönüşür — ve yazarın belirttiğine göre OpenAI makalelerinin çoğunda bu testler henüz sistematik biçimde çalıştırılmamıştır, yine de yazar başarısız olacaklarını gösteren bir neden görmemektedir.

Birinci soru: Lean önermesi makaleyle örtüşüyor mu?

Lean, bir teoremin önermesi ile ispatı arasında keskin bir ayrım yapar ve sistemin kontrol ettiği şey ispatın kendisidir. Önerme ise bir insanın okuması gereken koddur. Yazı, kusursuz biçimde derlenen ve Fermat'nın Son Teoremi'ne benzeyen ama kolayca yanlış olan bir kod parçasıyla bunu gösteriyor: Lean'da doğal sayılara 0 da dahildir, dolayısıyla n = 3 için a = b = c = 0 bir karşı örnek oluşturur. Önerme derlenir; onun bir ispatı asla derlenmeyecektir.

Önermeleri okumak her zaman kolay değildir. DeepMind'ın Formal Conjectures deposunda Hodge sanısını biçimselleştiren bir pull request, Mathlib gerekli tanımları içermediği için Mathlib'in ötesinde 10.000 satırdan fazla koda dayanıyor. Axiom'un duyurduğu, sonlu basit grupların sınıflandırmasının biçimsel olarak doğrulanmış ispatı teoremini, yapay zekâ tarafından üretilmiş bir Lean kütüphanesi olan Tau Ceti içinde, 900'den fazla dosyaya yayılan 250.000 satırdan fazla kodu içe aktaran bir dosyada ifade ediyor. Yaklaşık 5.600 satırlık tanım — Mathlib'de bulunmayan çoğu düzensiz (sporadik) basit gruplar dahil — önermenin söylemesi gerekeni söyleyip söylemediğini belirliyor ve yazar, bunları dikkatle kontrol etmiş bir insanla henüz karşılaşmadı. Yazının da dikkati çektiği ironi şudur: Önermenin doğru biçimde biçimselleştirildiğinin en güçlü kanıtı, Axiom'un kodunun onu ispatlıyor olmasıdır.

OpenAI yayınında bu sorunun daha kaba bir sürümü var: Lean kodu içeren 290 sonuçtan yaklaşık 38'i, makalenin ana teoremini ispatlamayı bir yana bırakın, ona yer vermiyor bile. Yazıya göre OpenAI hiçbir zaman tersini iddia etmedi — mevcut biçimselleştirmeleri neyse onu yayımladı. Örneğin 194 numaralı makale, 1960'tan beri açık olan Lech'in katsayılık (multiplicity) sanısını iddia ediyor; ancak karşılık gelen Lean teoremi, manşet sonuç değil makalenin 5.4 Korolaryası'dır.

İkinci soru: kod derleniyor mu?

Sonraki adım kodu derlemektir — yapay zekâ tarafından üretilmiş Lean koduna güvenilmez muamelesi yapılması gerektiğinden, bunu bir sandbox içinde yapmak gerekir. Anthropic, yazardan Fermat'nın Son Teoremi'ne dair 13 milyon satırlık biçimselleştirmesini incelemesini istediğinde, yazarın makinesi ilk denemede belleği tükendi; ancak 96 çekirdekli, 500 GB'lık bir makineye geçici erişimle derleme başarılı oldu. 640.000 satırlık OpenAI Navier-Stokes çalışması ise bir dizüstü bilgisayarda derlendi. Mathlib, insan uzmanlar tarafından özenle derlendiği için derlemek için güvenlidir; makine tarafından yazılmış kod için aynı şey varsayılamaz.

Üçüncü soru: ispat, o önermeyi mi ispatlıyor?

Doğrulanmış bir önerme bile ispatın kendisi sorusunu ortadan kaldırmaz. İspatlar, kimsenin satır satır okumayacağı binlerce ya da milyonlarca satırı zorunlu olarak içe aktarır; yazı, içlerine gömülmüş bir hileyi nasıl dışlayacağınızı soruyor — eşitsizliği önemsiz nedenlerle sağlayacak biçimde üstelleştirmeyi (üslü sayıyı) yeniden tanımlayan kod ya da teoremi onaylayan bir aksiyomu sessizce ekleyen bir satır. Çerçeve şudur: güvenilen bir önerme içeren bir Challenge.lean dosyası ile, onu ispatlıyor gibi görünen, güvenilmeyen içe aktarımlarla dolu bir Solution.lean dosyası. Yazı toplamda dört soru ortaya koyuyor ve daha geniş noktası şudur: Hepsi, OpenAI makapleri için henüz yapılmamış olsa da, harcanacak çabayla cevaplanabilir sorulardır.

Neden önemli

Biçimsel doğrulama, yapay zekâ duyurularında manşet bir iddia haline geliyor; Fermat'nın Son Teoremi, sonlu basit grupların sınıflandırması ve Navier-Stokes yakın zamanda Lean'da kontrol edildi olarak nitelendirildi. Yazı, bu ifadenin bir yelpazeyi kapsadığını gösteriyor: Bir insan uzmanın dakikalar içinde denetleyebileceği sonuçlardan, İncelenmemiş çeyrek milyon satırlık yapay zekâ üretimi tanımlara dayanan önermelere kadar. 'Bu makaleyle ilişkili Lean kodu' ile 'bu teorem biçimsel olarak doğrulandı' arasındaki boşluğu yalnızca insan emeği kapatır — önermeleri eşleştirmek, sandbox'larda derlemek ve ispatın gerçekte neleri içe aktardığını kontrol etmek. Yapay zekâ üretimi ispatlar yaygınlaştıkça, güvenin kazanılacağı ya da kaybedileceği yer, yalnızca derleyici çıktısı değil, o denetim katmanı olacaktır.

  • #lean
  • #formal-verification
  • #mathematics
  • #ai
  • #openai

İlgili yazılar