DishwasherBench, yap fiziği simüle edilmiş bir Bosch bulaşık makinesine yapay zekâ modellerini puanlıyor

Benchmark ne yapıyor

Composo, bulaşık makinesi doldurmayı yapay zekâ sistemleri için ölçülebilir bir göreve dönüştüren açık kaynak bir proje olan DishwasherBench'i yayınladı. Hacker News'in ana sayfasında öne çıkan depo, tek bir Bosch SMV4HAX40G'nin 3D yeniden yapımı üzerine kurulu Spotless adlı bir tarayıcı oyununu tanımlıyor; makine, gerçek cihazın fotoğraflarından ve mezura ölçümlerinden modellenmiş olup iki sepeti, pınar dizilerini, püskürtme kollarını ve Eco 50 yıkama programını kapsıyor.

Oyuncular eşyaları deterministik katı cisim fiziği altında, Jolt motorunu kullanarak makineye bırakıyor. Ardından yıkama simüle ediliyor — su jetleri, damlalar, akış, kir ve deterjan kimyası — ve temiz çıkan her eşya için puan veriliyor. Yedi seviyenin ikincisinden itibaren mevcut eşyaların hepsi artık sığmıyor, dolayısıyla doldurma gerçek ödünleşimler içeren bir mekânsal planlama problemine dönüşüyor.

Tek oyun, üç oynama yolu

Depoya göre aynı oyun üç şekilde oynanabiliyor: insanlar tarafından tarayıcıda, yapay zekâ ajanları tarafından bir MCP server üzerinden ve betiklenmiş oyuncular ile modelleri çalıştırıp herkesin yeniden oynayıp tekrar yıkayarak doğrulayabileceği bölüm kayıtları yazan bir harness aracılığıyla. Tarayıcı arayüzü, boş yerleri numaralandırıp bir programın göndereceği kesin poz verisini gösteren bir "yer öner" yardımcısı içeriyor; bu da insanların ve modellerin özdeş mekaniklerle karşı karşıya olduğunu vurguluyor.

Erken sonuçlar sınırlı. İki model OpenAI uyumlu bir endpoint üzerinden oynamış, resmi puan katmanında üç seviye boyunca altı bölüm üretmiş. Henüz bir insan taban çizgisi yok ve canlı servise karşı bir Anthropic API yolu çalıştırılmamış. Her seviye, üç betiklenmiş oyuncudan — dikkatli, dikkatsiz ve rastgele — referans yüklemelerle geliyor ve yedi seviyeden altısı bu yüklemelerde benchmark'ın eşiklerini geçiyor; eğitim seviyesi geçemiyor.

Hesaplama talepleri mütevazı. En büyük seviyenin soğuk başlatılan resmi yıkaması, referans MacBook Pro'da (Apple M3 Pro, 18 GB) 30 dakikalık bütçeye karşılık 4,9 dakika sürüyor. Daha hızlı bir önizleme katmanı, standart 13 kişilik bir yükleme için kararların %89'unda, benchmark seviyelerinde ise %97'sinde resmi katmanla aynı sonucu veriyor.

Simülasyon nasıl doğrulandı

Doğrulama belgeleri alışılmadık derecede açık sözlü. Simülasyon tam olarak tek bir test yıkamasına göre kalibre edilmiş: Eco 50'de yıkanan dört yumurta sarısı tabağı. Önceden yazılmış bir tahmin, tabakların sırasını ve kalıntının biçimini doğru çıkardı ama fırında kurutulmuş iki tabakta kalan kir miktarı konusunda on ile otuz kat fazla iyimserdi. Kalibrasyon daha sonra tek bir parametreyi — pompanın çalıştığı uzun ıslatma süresinin payını — 0,5'ten 0,8'e ayarladı. Proje, tahrinin önce geldiğini gösteren kaydın yayımlanmamış bir geliştirme geçmişinde olduğunu, dolayısıyla bu sıralamanın bağımsız olarak doğrulanamayacağını belirtiyor.

Kardeş makine olan Bosch SMV6ECX51E için yayımlanmış sınıf ortalamalarına karşı simülasyon, çatal-bıçak için bir puan basamağının 0,1'i içinde, çanak-çömlek için 0,2 düşük ve cam için 0,1 ile 0,5 arasında düşük kalıyor — ancak belgelendirme bunların uydurulmuş değerler olduğunu, tahmin olmadığını açıkça belirtiyor. Literatürden derlenip yürütülebilir kontroller olarak kodlanan 48 doldurma olgusundan 17'si geçiyor, 21'i büyüklük veya işaret olarak başarısız, bir senaryo hatalı ve dokuzu henüz inşa edilmemiş mekanizmalar gerektiriyor.

Bilinen kör noktalar

Proje, bir puanın şu an neyi yansıttığını düpedüz söylüyor: bir yüklemenin iyi istiflenip istiflenmediğini ve fincan, bardak ile tencerelerin ağzı aşağı bakacak şekilde yerleştirilip yerleştirilmediğini. Tabakların ve çatal-bıçağın temiz yıkanacak şekilde dizilip dizilmediğini henüz ölçmüyor. Devrilmiş veya yaslanmış tabaklar temiz çıkıyor; yazarlar bunu büyük olasılıkla yanlış olarak nitelendiriyor. Yağlı lekeli eşyalar deterjan olmadan bile temizleniyor; cama kurumuş çay, kahve, şarap ve süt için kararlar güvenilmez. Kurulama, camdaki lekeler ve film, jetler tarafından kaydırılan eşyalar ve temiz parçalara çöken kir hiç modellenmemiş ve yalnızca Eco 50 programı kalibre edilmiş.

Bu 0.1.0 sürümü, tek bir macOS makinesinde test edildi. Node 20.19 veya daha yenisini, pnpm 9'u, Dawn'ın WebGPU için açabileceği bir GPU'yu ve Chrome'u gerektiriyor; klon için yaklaşık 680 MB ve resmi yıkama başına bir ile iki GB bellek gerekir. Linux ve Windows test edilmedi.

Neden önemli

Çoğu model benchmark'ı metni veya kodu sınar; DishwasherBench ise gerçek sonuçları olan fiziksel bir ortamda mekânsal planlamayı araştırıyor; burada tıkalı bir deterjan gözü veya ağzı yukarı bakan bir kupa sonucu değiştiriyor. İnsanlar ve ajanlar doğrulanabilir bölüm kayıtlarıyla aynı oyunu oynadığı için, robot gerektirmeksiden embodied reasoning'de anlamlı bir insan-model karşılaştırması yolunu sunuyor. Zayıflıkların şeffaf biçimde yayımlanması — tek bir kalibrasyon yıkaması, 48 literatür kontrolünden 21'inin başarısız olması — simülasyon benchmark'larında dürüstlük açısından yüksek bir çıta belirliyor; ancak bu aynı zamanda ürettiği model sıralamalarının geçici olarak okunması gerektiği anlamına da geliyor.