deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak Hacker News – Front Page (native)

Thinking Machines, dizüstü bilgisayarlar için tasarlanmış looped-transformer modeli Inkling 2 Mini'yi yayınladı

Thinking Machines, yaklaşık 20GB bellekte çalışan, 26.4 milyar parametreli açık ağırlıklı looped transformer modeli Inkling 2 Mini'yi yayınladı ve 100 milyar parametrenin altındaki açık modeller arasında önde gelen kodlama sonuçları elde ettiğini açıkladı.

Thinking Machines, dizüstü bilgisayarlar için tasarlanmış looped-transformer modeli Inkling 2 Mini'yi yayınladı

Thinking Machines ne yayınladı

Thinking Machines, şirketin tüketici dizüstü bilgisayarlarında ve masaüstü yapay zeka makinelerinde çevrimdışı çalışacak kadar küçük olduğunu söylediği açık ağırlıklı model Inkling 2 Mini'yi yayınladı. Hacker News'in ana sayfasına düşen bu sürüm, alışılmadık bir looped-transformer mimarisi etrafında kuruldu ve şirket, bu tasarımı incelemek için ayarlanabilir döngü derinliğine sahip bir araştırma varyantı da yayınladı.

Duyuruya göre Inkling 2 Mini, toplam 26.4 milyar parametreye sahip bir Mixture-of-Experts modeli ve bu parametrelerin token başına 3.4 milyarı aktif. Orta katmanları her token için üç kez çalıştığından, token başına etkin ağırlık aktivasyonu 5.4 milyara çıkıyor. Şirket, modelin benzer performans gösteren alternatiflerden daha hızlı decode ettiğini de belirtiyor.

Looped tasarım nasıl çalışıyor

Döngüleme (looping), parametre sayısını artırmak yerine kapasiteyi yeniden kullanır: ağın orta kısmı tekrar tekrar çalışır ve modele her token üzerinde ek hesaplama turları kazandırır. Thinking Machines, bunun token başına daha derin akıl yürütme ve daha az tokenla doğru yanıtlar sağladığını söylüyor ve bunu özellikle agentic coding gibi akıl yürütme yoğun işler için değerli olarak konumlandırıyor.

Döngülemenin şirketin vurguladığı bir de güvenlik boyutu var. Bir modelin tüm akıl yürütmesini chain of thought'a yazmadan içeride düşünmesine olanak tanıyor ve bu da izlenebilirliği (monitorability) — bir modelin ne yaptığını çıktısını okuyarak anlama becerisini — etkiliyor.

Değişken döngülü varyantla yapılan ölçümler, chain of thought yokken zaman ufkunun tek geçişte 16 saniyeden üç geçişte 37 saniyeye çıktığını, bir seri-akıl yürütme benchmark'ındaki performansın ise on döngüye kadar — modelin eğitildiğinin iki katı — iyileşmeye devam ettiğini gösterdi. Döngüler eklendikçe chain of thought kısaldı ama okunabilir kaldı ve agentic sabotaj testlerindeki puanlar daha fazla döngüyle yukarı yönlü bir eğilim göstermedi.

Benchmark sonuçları

Thinking Machines, modelin 100 milyar toplam parametrenin altındaki tüm açık ağırlıklı sürümleri, yüzde 48.2 ile DeepSWE v1.1 ve yüzde 46.5 ile Vals Index v2.2 dahil olmak üzere benchmark'larda geride bıraktığını iddia ediyor. Ayrıca yalnızca bash ile SWE-bench Verified'da yüzde 79.2, SWE-bench Pro v2 (Hard)'da yüzde 77.9 ve context compaction kullanarak BrowseComp'ta yüzde 79.0 sonucu bildiriyor.

Duyurudaki karşılaştırmalar Gemma 4 31B, Muse Glimmer, Qwen3.8-27B ve Nemotron 3.5 Super VL'yı kapsıyor. Inkling 2 Mini çoğu kodlama, arama ve araç kullanımı satırında önde, ama hepsinde değil: Qwen3.8-27B Terminal Bench v2.1'de (yüzde 73.0'a karşı 71.6) ve MMMU Pro'da (yüzde 76.3'e karşı 74.9) önde, Nemotron 3.5 Super VL ise AA-Briefcase'te (1263'e karşı 1391) ve GDPVal-AA'da (1319'a karşı 1427) lider. Şirket, modeli daha büyük kardeşi Inkling 2 Small'ı yansıtır şekilde uzun ufuklu agentic işlerde en güçlü olarak konumlandırıyor ve bir kernel optimizasyon benchmark'ı olan PMPP-Hard'da o daha büyük modele yaklaştığını söylüyor.

Döngüleme nerede işe yarar, nerede yaramaz

Döngüleme akıl yürütme satın alır, bilgi değil. Thinking Machines, depolanan bilginin çoğunlukla toplam parametre sayısının bir işlevi olduğunu ve döngülemenin bunu değiştirmediğini belirtiyor: bir doğruluk ölçütü olan AA-Omniscience'da model aynı boyuttaki akranlarıyla uyumlu bir yerde. Değişken döngü deneylerinde, GraphWalks BFS ve MRCR v2 gibi uzun bağlam testleri daha fazla geçişle iyileşirken, SimpleQA Verified, SimpleVQA ve WorldVQA dahil bilgi yoğun testler iyileşmedi.

Model bunun yerine arama ve araçlarla telafi ediyor ve açık ağırlıklı karşılaştırılabilir modelleri BrowseComp, DeepSearchQA ve MCP Atlas'ta geride bırakıyor.

Yerel donanım için tasarlandı

Ağırlıkların çoğu, 4 bitlik kayan nokta biçimi olan NVFP4'te yerel olarak eğitildi ve dağıtıldı; son dört katman ise MXFP8'de. Toplam bellek ayak izi kabaca 20GB ve dizüstü ölçeğinde dağıtımı pratik kılan da bu. Bir gösterim olarak araştırmacılar, modeli M5 Pro çipli ve 48GB bellekli bir MacBook Pro'da uçak modunda çevrimdışı çalıştırdı ve model birkaç dakika içinde oynanabilir bir uçuş simülatörü inşa etti.

Ağırlıklar açık ve model çıkarım (inference) ve özelleştirme için Tinker üzerinde mevcut.

Neden önemli

Döngüleme, ölçeklemenin farklı bir ekseni: Inkling 2 Mini, yetenek için ham parametre sayısıyla ödeme yapmak yerine, token başına hesaplamayı daha küçük bir bellek ayak iziyle takas ediyor. RAM'in kısıtlayıcı olduğu faktör olduğu yerel çıkarımda bu anlamlı bir takas ve güçlü agentic coding performansını kabaca 20GB içine sığdırıyor. İzlenebilirlik bulguları da önemli; bunlar, bir modelin chain of thought'u okunamaz hale gelmeden veya daha kaçamak hale gelmeden daha fazla içeride akıl yürütebileceğini öne sürüyor — ancak bunlar Thinking Machines tarafından kendi varyantları üzerinde ölçüldü. Hem sabit döngülü modeli hem de değişken döngülü araştırma modelini açık kaynak yaparak şirket, dışarıdaki araştırmacılara mimariyi doğrudan inceleme konusunda alışılmadık bir fırsat sunuyor.

  • #open-weights
  • #local-inference
  • #language-models
  • #mixture-of-experts
  • #quantization

İlgili yazılar