LLM'ler TIS-100'de test edildi: 133 liderlik tablosu frontier puanı ve 3 cycle rekoru

Bulmaca oyunu bir programatik benchmark olarak

Zachtronics'ın assembly dili bulmaca oyunu TIS-100, oyunculara küçük işlemcilerden oluşan bir ızgara verir. Her düğümün iki register'ı ve on beş komutluk yeri vardır; komşu düğümler değer alışverişi yapmak için birbirlerini beklemek zorundadır. Çalışan çözümler cycle, düğüm ve komut sayısına göre puanlanır ve bir puanı düşürmek genellikle diğerini yükseltir; bu yüzden her bulmacanın tek bir en iyi cevabı değil, ödünleşimlerden oluşan bir frontier'i vardır. Oyuncular yaklaşık on yıldır topluluk liderlik tablosunda programları rafine ediyor.

TIS-100 Bench sonuç sayfasına göre (3 Kasım 2026 tarihli ve Hacker News ana sayfasında öne çıkan), on altı LLM'e — önde gelen frontier ve açık ağırlıklı modelleri kapsayan — oyun ve kılavuzu verildi ama liderlik tablosu verilmedi ve sürekli geliştirmeleri söylendi. Her model 47 temel oyun bulmacasının tamamına artı sekiz topluluk turnuva bulmacasına tek bir puanlı denemede (pass@1) girişti; bulmaca başına süre zorluğa göre 10 ile 45 dakika arasındaydı.

Test ortamı bir insan oyuncunun inceleyebileceği her şeyi, fare yerine metin araçlarıyla yansıtır: bulmaca özellikleri, görünen test girdileri, register'lar ve oyun geri bildirimi. Modeller programları düzenler ve gerçek oyunda çalıştırır; başarısız denemeler uyumsuzluklar, register durumları ve bloke olmuş portları geri döndürür, böylece sonraki düzenleme kanıtlara yanıt verebilir. Başarılı programlar kaydedilir ve geri yüklenebilir, böylece riskli bir düzenleme önceki ilerlemeyi kaybetmez; ayrıca model erken bırakmaya çalışırsa testlere devam etmesi için hatırlatmalar yapılr. Topluluk kodu ve kesin rekorlar gizli tutuldu; modeller yalnızca oyunun kaba puan histogramlarını gördü.

Öne çıkan sayılar

55 bulmaca (19 kolay, 17 orta, 19 zor) genelinde modeller, hiçbir topluluk çözümünün ulaşmadığı puan kombinasyonları olan 133 yeni frontier puanı üretti — bunlar 18 bulmacaya yayıldı — ve ayrıca üç cycle rekoru kırdı. Bu puanların on sekizi bir topluluk rekorunu doğrudan geçti; diğer 115'i üç puan arasında yeni ödünleşimlerdi. Bir puan yalnızca yeni bir oyunda yeniden oynatma ve bağımsız bir simülatör olan TIS-100-CXX üzerinde 100.000 başarılı testten sonra sayıldı.

Opus 5.5 ve GPT-6 Astra önde ve veri ikisini ayırmıyor. İkisi de 55 bulmacanın tamamını çözdü ve ikisi de 11'inde yeni frontier puanları buldu. Opus 5.5 daha fazla puan buldu, 72'ye 32; GPT-6 Astra'nın rekor yakınlığı daha yüksek, 78,0'a karşı 77,2 (100, topluluk rekorlarına eşitlik demek), ancak bu fark için %95 bootstrap aralığı sıfırı içeriyor. GPT-6 Astra ayrıca her modelin çözümlerinin ne kadar ödünleşim alanını kapladığını ölçen altı hypervolume ayarının tamamında öndeydi.

Çözmek ve optimize etmek farklı beceriler olduğunu kanıtladı: Gemini 3.8 Flash 53 bulmaca çözdü ama yalnızca birinde yeni puan buldu; Fable 5.1 ise 52'sini çözdü ve beşinde yeni puanlar buldu.

Bir rekor nasıl düştü

Projenin yazısında Opus 5.5'in Undecimal Twin Rounder (SPEC44149538) üzerindeki izlediği yol anlatılıyor; bu, bir girdiyi bir çıktıda en yakın N katına, diğerinde 11−N katına yuvarlayan bir turnuva bulmacası. Dondurulmuş topluluk rekoru 2.694 cycle'dı. Opus 5.5'in 6,5 dakikadaki ilk başarılı programı 5.669 cycle sürdü; 16. dakikada rekorun altına indi ve 1.918'de bitirdi — bir ekstra düğüm ve 28 ekstra komut pahasına %29 daha hızlı. Çekirdek iki hızlı bir arama: iki düğüm fazla gitene kadar 4N çıkarır, sonra N geri ekler ve her biri, bir port üzerinden gönderilen jump offset'leriyle arama tablosu gibi davranan küçük bir yardımcı işlemciyi sürer.

Diğer cycle rekorları: GPT-6.1 Sol, Intersection Identifier'da (SPEC64160260) topluluğun 3.872'sine karşı 3.460 cycle'a ulaştı, %11'lik bir kazanç; Gemini 4 Argon ise Error: 8'de (SPEC79324720) 198'e karşı 188'e vurdu, %5 daha hızlı. Üç rekor da turnuva bulmacalarında düştü; ana oyunda hiçbiri.

Maliyet ve mekanikler

Maliyet kaliteyi takip etmedi. GPT-6.1 Sol, bulmaca başına tahmini 0,75 dolara 75,6 rekor yakınlığına ulaşırken, Opus 5.5'in 77,2'si 5,08 dolara mal oldu — iki puan için yedi kat fiyat — ve Fable 5.1, 70,2 puanla 7,19 dolarla en pahalı oldu. Tüm çalışma 880 bölüm, 95,5 milyon çıktı token'ı ve 62.400 oyun aracı çağrısı tüketti. Bulmaca mekanikleri alanı tabakalaştırdı: on altı modelden on beşi beş yönlendirme bulmacasının tamamını çözdü ve hiçbiri orada yeni bir frontier puanı bulamadı; dilin MUL komutu bulunmadığı çarpma bulmacalarında ise tasarımlar ayrıştı — Gemini 4 Argon, tekrarlanan komutlardan oluşan bir bloğa göreli bir jump kullanarak 436 cycle'da çarpma yaptı, GPT-6 Astra'nın 523'ünden yaklaşık %17 daha hızlı.

Neden önemli

Çoğu kodlama benchmark'ı bir modelin doğru bir program yazıp yazamadığını sorar; bu ise sürekli mühendisliği ölçüyor — süre baskısı altında yinelemek, tanılama bilgilerinden hata ayıklamak ve bir kaynağı diğeri aleyhine takas etmek. İddia edilen her sonuç, yeni girdiler üzerinde doğrulanmış çalıştırılabilir bir eserdir; bu, ezberlenmiş cevaplarla sağlanması zordur. Ve döngü insanlarla kapanıyor: yayından sonraki günlerde topluluk oyuncuları modellerin programlarını aldı ve çoğunu geliştirdi, liderlik tablosunu insanlarla modeller arasında paylaşılan bir frontier'e dönüştürdü. Yazarlar, RL ortamlarının ve izlerin talep üzerine araştırma ekiplerine açık olduğunu söylüyor.