Mistral, Timestral zaman serisi modellerini duyurdu; bağımsız test hızı doğruladı, kalibrasyondan şüphe etti

Mistral, zaman serisi tahmini için ilk foundation model ailesi olan Timestral'ı yayınladı. Dört model 5M ile 209M parametre aralığında; Hugging Face üzerinde Modified MIT lisansıyla açık ağırlıklarla ve Apache 2.0 lisanslı inference koduyla geliyor ve lansman yazısına göre GIFT-Eval, TIME ve fev-bench olmak üzere üç public benchmark'ta ön eğitimli zero-shot kategorisinde lider durumda. 19 Ekim'de dev.to üzerinde frankchu kullanıcısı tarafından yayınlanan bağımsız bir değerlendirme, en küçük iki modeli indirip geliştiriciler için önemli olan iddiaları ölçtü. Sonuçlar net bir şekilde bölündü: gecikme ve nokta tahminleri tutuyor, güven aralıkları tutmuyor.

Ne yayınlandı

dev.to yazısına göre Timestral, 0.01 ile 0.99 arasını kapsayan 21 kuantil ile olasılıksal tahminler üretiyor ve 32.768 adımlık context kabul ediyor. Herhangi bir benchmark yapmadan önce yazar, ağırlık dosyalarını model adlarıyla doğruladı: indirmeler dört boyut için sırasıyla 5.21M, 27.82M, 122.61M ve 209.32M parametreye karşılık geliyor, yani etiketler doğru. 5M modelin yapılandırması, 32'lik patch boyutu dahil olmak üzere öne çıkan özellikleri de teyit ediyor.

CPU gecikme iddiası tutuyor, donanımsal bir dipnotla

Mistral'ın duyurusuna göre sekiz thread'lik geleneksel bir sunucu CPU'da, üç haftalık 15 dakikalık geçmişten (2.016 context adımı, 96 adımlık ufuk) bir gün ileriyi tahmin etmek 5M modelle 10 ms, 209M modelle 140 ms sürüyor.

dev.to yazarı bu kurulumu, iki thread'e sabitlenmiş CPU-only PyTorch (2.9.1) çalıştıran iki vCPU'lu bir sanal makinede, model başına yedi denemeyle yeniden üretti; yalnızca 5M ve 28M boyutlarını test etti. 5M model medyan 52.4 ms, 28M model 315.7 ms sonuç verdi; duyuru, 28M model için kabaca 28 ms'e işaret ediyor ve bu modeli 209M'den beş kat hızlı olarak tanımlıyor. Üretici rakamlarına göre fark büyük ölçüde thread aritmetiği: 10 ms'yi eksik thread'ler için dörtle çarpmak 40 ms veriyor ki bu, ölçülen değerin doğru bir yaklaşıması. Pratik çıkarım şu: CPU'da 10 ms demek, sekiz thread'li bir sunucu CPU'da 10 ms demek; birçok üretim sidecar'ını andıran iki çekirdekli bir makinede küçük model için seri başına yaklaşık 50 ms, 28M için kabaca üçte bir saniye bütçeleyin. Binlerce sensörü tahmin eden herkes kapasite planını bulmuş oldu. Çıktı yapısı spesifikasyonla eşleşti: 96 ufuk adımı, 21 kuantil.

Zero-shot nokta tahminleri naive baseline'ları geçiyor

Kalite kontrolü için yazar, 1949'dan 1960'a kadar klasik aylık havayolu yolcusu serisini kullandı; son 24 ayı ayırıp 5M modelle zero-shot tahmin yaptı. Medyan tahminin ortalama mutlak hatası 44.93 (bin yolcu) oldu; sezonluk naive 71.25, drift ise 91.62 idi — bu, daha gelişmiş yöntemleri rutin olarak yenen baseline'a göre %37'lik bir iyileşme. İlk tahminler gerçekleşen değerleri yakından takip etti: 360'a karşı 348, 342'ye karşı 332, 406'ya karşı 375.

Güven aralıkları kalibre değil

Lansman yazısında eksik olan ölçüm kapsam (coverage). Bir %80 aralığı, gerçek değeri kabaca %80 of the time içermelidir; ayrılan 24 ay boyunca Timestral bunu yalnızca dört kez, yani %16.7 oranında başardı. Kapsam ufukla birlikte bozuldu: ilk 12 ayda %25, son 12 ayda %8.3. 24 medyan tahminin tamamı gerçek değerlerin altında kaldı, bu yüzden medyan yanlılığı (-44.93) tam olarak MAE'ye eşit. Aralıklar ufuk boyunca genişledi (36'dan 101'e, ortalama genişlik 68.5) ama güçlü trendli bir seride, yanlılık birikiminden daha yavaş genişlediler. Yapısal bir söz mükemmel şekilde tuttu: mimarinin tasarımıyla tutarlı olarak, 24 × 21 çıktının tamamında sıfır kuantil kesişimi vardı.

Yazar sınırları açıkça dile getiriyor. Bu, olağandışı düzgün bir trende sahip tek bir aylık seri, GIFT-Eval değil; Mistral'ın benchmark kayıtları herkesin kontrol edebileceği public leaderboard'larda duruyor; ayrıca lansman yazısı, ön eğitimin ağır şekilde sentetik veriye dayandığını açıkça söylüyor — bu da modelin gerçek dünyanın ürettiğinden daha az sürekli bileşik trend görmüş olabileceği anlamına geliyor.

Neden önemli

Zaman serisi foundation modelleri araştırma demolarından deployable yapılara geçti: indirilebilen, zero-shot çalıştırılabilen ve standart donanıda onlarca milisaniyede sezonluk naive'yi %37 geçebilen 5M parametrelik bir model, küçük bir ekibin tahmin pipeline'ı kurmadan neler yapabileceğini değiştiriyor. Ancak sade bir baseline'a göre değer önerisi belirsizlik tahmini ve tam da burada başarısız olan o. Lansmanın değindiği kullanım senaryolarında — kapasite planlama ve risk eşikleri — gerçeği %17 oranında kapsayan bir bant, hiç bant olmamasından daha kötü; çünkü nokta tahmin yöneldiği doğru olabilirken aralık hiçbir şeyin yanlış olmadığını işaret ediyor. dev.to testinden çıkarılabilecek eyleme dönük kural şu: medyanlara, kendi verinizde test ettikten sonra güvenin; ve herhangi bir kuantili bir uyarıya bağlamadan önce aralık kapsamını ölçün — yazarın belirttiği gibi bu kabaca on bir satır kod alıyor.