Çalışma, 49 saatlik kuru EEG ile sessiz okumadan açık-hazineli kelimeleri çözümleyebiliyor

İç konuşma neden toplanması zor

Makale, iç konuşma çözümlemesini tıkatan bir veri sorunuyla başlıyor. Yazarların da belirttiği gibi, sinirsel aktiviteyi bir kişinin kendiliğinden iç monoloğuyla eşleştiren bir derlem oluşturmanın yolu yok, çünkü kimse bir kişinin belirli bir anda gerçekte ne düşündüğünü doğrulayamaz. Alışılmış yedekler — insanlardan ipucu verilen bir kelimeyi kafalarında tekrarlamalarını istemek veya iç konuşma üretip sonradan rapor etmelerini sağlamak — toplamak için yavaş, zaman kilitlemesi zayıf ve uyumun denetlenmesi mümkün değil. Yazarlar bunun yerine sessiz okumayı bir vekil olarak ele alıyor: sunulan metin önceden biliniyor, zamanlama tamamen kontrollü ve bilişsel eylem, pratik bir vekil olacak kadar iç konuşmaya yakın.

Deney

Makaleye göre bir katılımcı, toplam yaklaşık 49 saatlik 19 kanallı kuru elektrotlu EEG içeren 393 oturum tamamladı ve bu oturumlar yaklaşık 240.000 kelime sunumunu kapsıyor. Kelimeler, tek tek hızlı seri görsel sunumla gösterilen sürekli anlatı metninden geldi. Her denemede her kelimenin tipografisi rastgeleleştirildi; bu tasarım tercihi, kelimenin kimliğini düşük düzeyli görsel görünümünden kısmen ayırmayı ve modelin kelimenin kendisini işlemeden harf biçimlerini tanıyarak başarıya ulaşmasını zorlaştırmayı amaçlıyor.

Model

Çözümleme hattı, kısa EEG pencereleri üzerinde evrişimli bir kodlayıcıyı, isteğe bağlı bir nedensel transformer ile birleştiriyor ve CLIP tarzı bir kontrast hedefle eğitiliyor. Sistem, kelimeleri doğrudan tahmin etmek yerine, her EEG dilimini, okunan kelime için büyük bir dil modelinin ürettiği gizli durum gömmesiyle hizlamayı öğreniyor. Performans, karıştırılmış etiket temel çizgilerine karşı kelime grubu başına değerlendirilen ilk-10 geri getirme olarak ölçüldü; bu da fiilen, gerçek kelimenin modelin en iyi on adayı arasına şansın izin verdiğinden daha sık girip girmediğini soruyor.

Sonuçlar ne gösteriyor

Çözümleme güvenilir biçimde şans düzeyinin üzerindeydi ve yalnızca en yaygın hazineden değil, orta frekanslı ve nadir kelimelere de uzandı. Performans, eğitim verisi miktarının logaritmasıyla orantılı biçimde arttı ve görünürde bir platoya ulaşılmadı; bu da yaklaşımın sinirsel sinyaldeki sert bir tavandan değil, veri kümesi boyutundan kısıtlandığı yönündeki yazar argümanının temelini oluşturuyor.

İkincil iki bulgu öne çıkıyor. Görsel işleme bölgelerinin üzerinde duran oksipital ve arka temporal elektrotların çıkarılması, kelime düzeyindeki çözümleme kazanımını yaklaşık üçte bir oranında düşürürken modelin anlatı bağlamını izleme yeteneğini korudu. Ayrıca, gerçek kelime düzeyi çözümlemesi iki olası karışıklık kaynağından ayırmak için bir dizi kontrol analizi gerekti: modelin hikâyenin daha geniş bağlamını izleme yeteneği ve transformer'ın konumsal gömmelerinin getirdiği sinirsel olmayan bir konumsal yanlılık.

Dikkate değer uyarılar

Manşet sonuçlar tek bir katılımcıdan geliyor, dolayısıyla aynı hattın kişiler arasında aktarıldığına dair henüz bir kanıt yok ve sessiz okumayı iç konuşmanın vekili olarak ele almak, kanıtlanmış bir eşdeğerlik değil, bir varsayım olarak kalıyor. İlk-10 geri getirme ayrıca cümleleri yeniden yapılandırmaktan çok uzak, çünkü model tam kelimeleri belirlemek yerine adayları daraltıyor. Son olarak, 49 saatlik yoğun örnekleme çoğu EEG çalışmasının topladığından çok daha öteye geçiyor ve bu iki yönlü işliyor: ölçeğin değerini gösteriyor, ama yaklaşımın şu anda her kullanıcıdan alışılmadık ölçüde fazla kayıt gerektirdiğini ima ediyor.

Neden önemli

Şimdiye kadar yüksek bant genişlikli konuşma beyin-bilgisayar arayüzleri, beyne yerleştirilen ya da beyin üzerine takılan elektrotlara dayandı. Bu makaleye göre, yeterli veri ve dil modeli gömmelerine karşı doğru kontrast eğitim olduğu sürece ucuz bir 19 kanallı kuru kep, geri kazanılabilir, açık-hazineli sözcüksel sinyal taşıyabiliyor. Cerrahinin benimsenme önündeki büyük bir engel olduğu yardımcı iletişim için bu anlamlı bir veri noktası; birinin kendiliğinden düşünceletini çözümlemek, okuduğu şeyi çözümlemekten çok daha zor ve daha uzak bir problem olmaya devam etse de.