Tehdit istihbaratı çalışmaları için 262K bağlam destekli, yerel çalışabilen Cyber-OSINT MoE modeli yayınlandı

Araştırmalar için yerelde çalıştırılabilen bir model

Güvenlik araştırmacısı @0x0SojalSec, tamamen yerel donanımda çalıştırılması hedeflenen bir Cyber-OSINT dil modeli duyurdu; duyuru, 29 Eylül'de Hacker News ana sayfasında öne çıkan bir X paylaşımıyla yapıldı. Geliştirici, modeli güvenlik temalı bir prompt'a sahip genel amaçlı bir sohbet modeli olarak konumlandırmak yerine, doğrudan açık kaynak istihbaratı (OSINT) ve siber tehdit istihbaratı (CTI) iş akışlarına yönelik denetimli bir ince ayar (SFT) olarak tanımlıyor.

Ana model bir mixture-of-experts (MoE) tasarımı kullanıyor: toplamda 26 milyar parametre, token başına yaklaşık 4 milyar aktif parametre — bu boyutta yerel dağıtımı mümkün kılan da bu. Duyuruya göre model, 262.000 token'lık bir bağlam penceresi sunuyor ve yaklaşık 6.500 OSINT ve CTI talimat örneği üzerinde eğitilmiş. Ağırlıklar, Hugging Face üzerinde DeepHat organizasyonu altında barındırılıyor.

Neye göre ayarlandı

İnce ayar, genel güvenlik soru-cevabından çok somut analist görevlerini hedefliyor. Duyuruda listelenen yetenekler arasında şunlar var:

• Tehdit aktörü atfı: bir faaliyet setinin arkasında hangi grubun olabileceği konusunda akıl yürütme.
• IoC pivoting: hash, alan adı ve IP adresi gibi güvenlik ihlali göstergelerinden yola çıkarak ilgili altyapıya doğru ilerleme.
• Coğrafi konumlandırma: veri noktalarını fiziksel konuma bağlama — klasik bir OSINT alıştırması.
• Admiralty kaynak değerlendirmesi: bir kaynağın güvenilirliğini ve bir raporun inanılırlığını ayrı ölçüler olarak puanlayan köklü istihbarat çerçevesini uygulama.

Çok uzun bağlam penceresi bu iş yüküyle doğrudan ilgili; çünkü analistler sık sık küçük parçalarla çalışmak yerine raporların tamamını, mahkeme belgelerini, sızdırılmış veri setlerini veya log özetlerini bir seferde modele vermek zorunda kalıyor.

8GB GPU'lar için daha küçük bir kardeş

Aynı duyuru, saldırgan ve savunmacı çalışmayı kapsayan siber ve DevOps eğitim sonrası veri setleriyle ince ayarlanmış 7 milyar parametrelik bir siber modeli daha tanımlıyor. Bu model 32K doğal bağlama sahip; RoPE tabanlı bir bağlam uzatma tekniği olan YaRN ile yaklaşık 131K token'a kadar genişletilebiliyor ve 8GB bir GPU'da çalışacak kadar küçük, yani tüketici dizüstü bilgisayarlar ve giriş seviyesi masaüstü kartlarının erişiminde.

İnce ayar mı, sistem prompt'u mu

Geliştiricinin ana iddiası, güvenlik modellerinin genellikle nasıl pazarlandığına bir gönderme: çoğu, üzerine güvenlik temalı bir sistem prompt'u eklenmiş genel amaçlı bir modelden ibaret; oysa bu sürün, alan verisiyle eğitim yoluyla ağırlıkların kendisini değiştiriyor. Bu ayrım pratikte önem taşıyor, çünkü prompt'la sarmalanmış genel modeller sık sık mesleki teknikten uzaklaşıyor veya uzmanlaşmış baskı altında halüsinasyon görüyor. Bu ince ayarın gerçekte daha iyi performans gösterip göstermediğini tam olarak bağımsız değerlendirmenin ortaya koyması gerekirdi ve duyuruda bu tür bir kıyasa yer verilmiyor.

Açık sorular

Operasyonel kullanımdan önce bazı konularda temkinli olmak gerekiyor. Yaklaşık 6.500 talimattan oluşan bir eğitim seti güncel ince ayar standartlarına göre mütevazı; atıf veya coğrafi konumlandırma gibi yetenek iddiaları da üçüncü taraflardan değil, geliştiriciden geliyor. Duyurudaki bağlantı Hugging Face deposuna kesik biçimde işaret ediyor; dolayısıyla kesin lisans koşulları, taban model ve eğitim karışımı önce orada doğrulanmalı.

Neden önemli

İki şey bunu sıradan bir model yayınının üzerine çıkarıyor. Birincisi yerellik: tehdit istihbaratı ve soruşturma çalışmaları genellikle barındırılan bir API'ye gönderilemeyecek hassas materyaller içeriyor ve 8GB sınıfı bir GPU'da çevrimdışı çalışan bir model, veri dışa çıkışı sorununu tamamen ortadan kaldırıyor. İkincisi modelin biçimi: MoE verimliliğinin 262K token'lık bağlamla birleşmesi, bir analistin bütün belgeleri yerelde işleyebilmesi anlamına geliyor — bu, yakın zamana kadar büyük GPU'lar veya bulut servisleri gerektiriyordu. Admiralty değerlendirmesi gibi mesleki tekniğe özgü becerilere odaklanma, güvenlik hakkında bilgi sahibi sohbet botlarından gerçek analitik iş akışının etrafına kurulmuş araçlara doğru bir kaymanın da işareti. İnce ayar incelemeye dayanırsa, diğer dar alanlar için yararlı bir şablon olur; dayanmasa bile yansıttığı talep — özel, uzun bağlamlı, alana ayarlı modellere olan talep — açıkça gerçek.