Paper Instruments, Fable sınıfı işleri 60 kat daha düşük maliyetle sunduğunu iddia eden açık model Ultramarine 1 Flash'ı yayınladı

Neler yayınlandı

Paper Instruments, finans, hukuk, danışmanlık ve operasyon alanlarındaki profesyonel bilgi işleri için ayarlanmış açık model Ultramarine 1 Flash'ı yayınladı. Şirket, modelin Claude Fable 5 ile aynı performansta çalışırken görev başına kabaca 60 kat daha ucuz olduğunu iddia ediyor. Hacker News'in ön sayfasına ulaşan duyuruya bir teknik rapor, bir GitHub deposu ve bir API eşlik ediyor.

Model, taban olarak GLM-5.3 Flash üzerine inşa edilmiş. Paper Instruments'a göre ince ayar yapılan model, raporladığı altı benchmark'ta bu tabana göre yüzde 6,5 daha az token üretiyor; yani daha yüksek puanlara daha fazla çıktı üreterek değil, daha az çıktı üreterek ulaşıyor.

İddianın arkasındaki rakamlar

Merkezi iddia şu: Görev başına 0,13 dolarla Ultramarine 1 Flash, maksimum akıl yürütmedeki Claude Fable 5'ten (görev başına 8,19 dolar) ve maksimum akıl yürütmedeki GPT-5.6 Sol'dan (görev başına 2,09 dolar) daha yüksek puan alıyor; Claude Opus 5.5'in (maks, 6,96 dolar) ve GPT-6 Sol'un (maks, 1,26 dolar) üç puan yakınında kalıyor. Şirketin kendi grafiğinde model, maksimum akıl yürütmede 59,3 puan alırken Fable 5 57,8 puanda kalıyor; bu da görev düzeyinde 60 kat rakamını aritmetik olarak makul kılıyor, çünkü 8,19 doların 0,13 dolara bölünmesi yaklaşık 63 ediyor.

Grafikte başlığı yumuşatan sonuçlar da var. Maksimum akıl yürütmedeki Claude Fable 5.1, görev başına 8,64 dolarla 65,5 puan alıyor ve gösterilen en yüksek sonuç; maksimum akıl yürütmedeki GPT-6 Astra ise 5,64 dolarla 64,2'ye ulaşıyor. Fable karşılaştırması yeni 5.1'e değil, Fable 5'e yapılıyor. Fiyat açısından en yakın rakip GPT-6 Luna: görev başına 0,11 dolarla maksimum akıl yürütmede 58,3 puan alıyor — biraz daha ucuz ve biraz daha düşük.

Kendi tabanına karşı kazanımlar açık: GLM-5.3 Flash, görev başına 0,10 dolarla maksimum akıl yürütmede 52,0 puan alıyor; yani ince ayar, marjinal bir maliyet artışıyla 7,3 puan ekliyor.

Benchmark neyi ölçüyor

Puanlar, Paper Instruments'ın sürdürdüğü iç bir benchmark olan PI Knowledge Work'ten geliyor. Görevler, modelden tamamlanmış Excel çalışma kitapları, PowerPoint sunumları ve Word belgeleri teslim etmesini ve ERP ile MES gibi canlı iş sistemleri içinde çalışmasını istiyor. Her görev, özü, doğruluğu ve sunumu kapsayan yazılı bir değerlendirme ölçütüne göre puanlanıyor. Şirket, tüm modellerin aynı harness içinde çalıştığını ve maliyetlerin her geliştiricinin resmi API fiyatlandırması kullanılarak hesaplandığını söylüyor. Ayrıca benchmark'ın puanlarının Artificial Analysis Intelligence Index ile r = 0,81 korelasyon gösterdiğini bildiriyor.

Dikkat edilmesi gereken küçük yazılar da var: Bir rakibin puanı kamuya açıksa, karşılaştırmada kullanılan token sayıları Paper Instruments'ın o puana en yakın gelen kendi çalıştırmalarından geliyor.

Fiyatlandırma ve ayarlama

Ultramarine API'de fiyatlandırma, GLM-5.3 Flash ile aynı: milyon girdi token'ı başına 0,15 dolar, önbelleğe alınmış girdi için 0,03 dolar ve çıktı için 0,50 dolar. Dolayısıyla görev başına tasarruf, flash sınıfı token fiyatları öderken sınır seviyesine yakın modellerin puanlarını almaktan geliyor; azaltılmış token üretimi de bunu destekliyor.

Paper Instruments ayrıca modelin nasıl yazdığına vurgu yapıyor. Model, görsel ve bilgi hiyerarşisine güçlü bir hâkimiyetle sade, iyi yapılandırılmış metinler üreten olarak tanımlanıyor; bu da profesyonel hizmetlerde müşteriyle yüz yüze çalışacak analistlerden beklenen biçimlendirme ve sunum standartlarını yansıtıyor.

Neden önemli

Rakamlar satıcının kendi harness'inin dışında da tutarsa, yüksek hacimli profesyonel belge işlerinin ekonomisi değişir: Görev başına sentlerle sınır seviyesindeki maksimum akıl yürütmeli modellerin puanlarına yakın olmak, daha önce otomatikleştirmek için çok pahalı olan iş akışlarını bir anda uygulanabilir kılıyor. Değerlendirme tasarımı da dikkat çekici — gerçek iş yazılımları içinde üretilmiş tamamlanmış çıktıları puanlamak, sohbet tarzı soru cevaptan bu modellerin gerçekte nasıl kullanıldığına daha yakın.

Her zamanki uyarılar tamamen geçerli. Bu, iç bir benchmark üzerinde geliştirici tarafından yürütülmüş bir karşılaştırma; bağımsız çoğaltma yerine yalnızca harici bir indekle korelasyonla doğrulanmış. Yararlı bir denge unsuru ise modelin açık olması: ekipler grafiğe güvenmeden önce onu indirip kendi iş yükleriyle test edebilirler.