Jev yapay zekâ modeli, Bitcoin yönünü tahmin etmede yazı-turadan kötü çıktı: dev.to testinde gradient boosting'e yenildi

Bir yapay zekâ modeli piyasayı okuyabilir mi? dev.to'da yayımlanan iki bölümlük bir uygulamalı test, tek bir özel durum için bu soruya "hayır" diyor: Bitcoin'in bir sonraki beş dakikalık mumunun yönünü tahmin etmeye çalışan Jev modeli, yazı-turadan biraz düşük skor alırken, aynı sayılarla beslenen sıradan bir gradient boosting modeli ölçülebilir biçimde daha iyi performans gösterdi. Daha da önemlisi, Jev'in olasılık tahminleri hem eğitilmiş modelin hem de piyasanın kendisinin tersi yöne eğilim gösterdi.

Test nasıl yapıldı

dev.to'da yazan yazar, soruyu tek bir ikili çağrıya indirgedi: bir BTCUSDT beş dakikalık mumu kapandıktan sonra, bir sonraki mum açılışının üzerinde mi kapanacak? Gradient boosting modeli, 2022'den 2024'e uzanan yaklaşık 314.000 mum üzerinde eğitildi ve Ocak 2025'ten Eylül 2026 sonuna kadar olan yaklaşık 181.000 ayrık mum üzerinde bir kez değerlendirildi. Kırk bir teknik göstergeden, doğrulama penceresinde en önemli on ikisine indirgenildi.

Jev'in 1.13.0 sürümü, test döneminden rastgele seçilen 1.500 mum üzerinde iki biçimde test edildi: tanımlarıyla birlikte ham sayılar ve düz İngilizce bir açıklama. Veriler kördü — sembol, tarih veya fiyat seviyesi yoktu — böylece model Bitcoin tarihindeki ünlü bir günü tanıyamazdı. Her istek, RSI'nin 50'nin üzerinde olup olmadığı gibi bilinen yanıtlı kontrol soruları da içeriyordu; bu, ayrıştırma hatalarını tahmin hatalarından ayırmak içindi. Jev bu soruların yüzde 99,8'ini doğru yanıtladı. Tüm çalışma, 4.560 istek boyunca yaklaşık 0,19 dolara mal oldu.

Şansın altında ve ters yöne işaret ediyor

Aynı 1.500 mum üzerinde boosting 0,522 AUC'ye ulaşırken, Jev sayısal girdiyle 0,486 ve düz metinle 0,494 skor aldı; 0,500 yazı-turası demek. Yazar hata payları konusunda dikkatli: 1.500 örneklemde her güven aralığı 0,500'i kapsıyor, boosting'in ki dahil. Yorumu netleştiren şey sinyalin yönü. Üç yıllık veriye uydurulan boosting, kısa vadeli ters dönüşü öğrenmiş — fiyatın kısa hareketli ortalamasından çok uzaklaştığında geri dönme eğilimi var. Jev ters yöne gitti ve tam da fiyat uzandığında daha yüksek yukarı olasılıkları atadı. İki modelin tahminleri −0,71 korelasyonla, neredeyse birbirinin tersi.

Piyasa istatistiksel modelin yanında yer aldı. Dokuz periyotluk EMA'sının çok altında, bir sonraki mumların yüzde 52,8'i yukarı kapandı; çok üzerindeyse sadece yüzde 46,9'u. Jev'in ortalama tahmini aynı aralıkta, ters yönde, yaklaşık yüzde 41,6'dan yüzde 54,4'e koştu.

Filtre sorunu

Dizinin önceki bölümleri, Jev'in giriş emirlerini veto edebildiği bir trading botu olan QuantDinger'ı inceledi — yazarın belirttiğine göre bu bir kapı görevi görüyor ama model başarısız olduğunda emirlerin geçmesine izin veriyor ve teslim edildiği haliyle backtest edilemez. Filtre olarak test edildiğinde Jev, boosting'i ya kötüleştirdi ya da değiştirmedi. En çarpıcı sayı: boosting'in en güvenli olduğu 300 mumda — çağrıların yüzde 58'i onun yönüne gitti — Jev sayısal biçimde bunların 294'üne itiraz etti. Bu yanıtlara dayanan bir kapı, modelin en sevdiği işlemlerin neredeyse tamamını engellerdi.

Yazarın vurguladığı gibi, bunlardan hiçbiri zaten işlem yapılabilir değil: boosting modelinin en güvenli onluk dilimi bile maliyetlerden önce işlem başına 0,74 baz puan kazanırken, bir Binance spot gidiş-dönüşü 15 ila 20 baz puan maliyet ediyor.

Modelin işe yaradığı yer

Dizi bir reddediş değil. Trading dışı görevlerde Jev, 77 etiketli bir bankacılık niyeti sınıflandırma setinde yüzde 92,4 skor aldı — ince ayarlı bir BERT'ün yüzde 93,66'sına yakın — ve bir trading günlüğünü incelerken 74 hatalı etiketli kaydın 74'ünü de yakaladı. Yazarın çıkardığı örüntü şöyle: yanıt zaten girdinin içindeyken iyi performans gösteriyor, ama yanıt gelecekte ve tek bir piyasanın tek bir zaman diliminde gerçekte nasıl davrandığına bağlıyken kötü performans gösteriyor. Öneri, modeli tradingin çevresindeki evrak işleri için kullanmak, emir yolunda değil.

Neden önemli

Test, yapay zekâ-ve-trading iddialarını değerlendirmek için ucuz bir şablon. Dizinin ilk bölümünde incelenen 19 projeden sadece dördü modeli daha basit bir şeyle karşılaştırmış ve bu karşılaştırmaların hiçbirini kazanmamış. Kendinden emin bir olasılık kanıt değildir ve metin üzerinde eğitilmiş bir model, belirli bir piyosa kitapla aynı fikirde olmasa bile kitapdaki teknik analizi kodlar. Yazarın pratik tavsiyesi: herhangi bir modelin canlı emirleri geçmesine izin vermeden önce, her tarihsel sinyal için durumu kaydedin ve kapıyı onunla ve onsuz backtest edin — Jev'in fiyatlandırmasıyla bu birkaç sent tutar, canlı öğrenmekten çok daha ucuz.

Sınırlar

Tek bir model sürümü, tek bir piyasa ve tek bir zaman dilimi test edildi, yalnızca fiyat verisiyle; yazar, haber, finansal raporlar veya emir akışını içeren görevlerin kapsanmadığını belirtiyor. Kod herkese açık ve yeni bir sürüm çıktığında tüm test yaklaşık 0,19 dolara yeniden çalıştırılabilir.