TokenPrint: token'ları transformer'lar boyunca izleyen açık kaynaklı bir 3D debugger

Bir geliştirici, bir modelin iç hesaplamasını gezilebilir bir grafiğe dönüştüren, transformer ve LLM inference için açık kaynaklı 3D görsel debugger TokenPrint'ı yayınladı. Projenin yazarının dev.to'daki bir gönderisine göre motivasyon şu: statik diyagramlar, denklemler ve kaynak kodu bir modelin yapısını anlatır ama tek bir token'ın bu yapı içinde izlediği yolu anlatmaz.

Bir token'ı ağ boyunca izlemek

Araç, inference'ı bir yol olarak modelliyor. Bir token başlangıçta ayrık bir ID'dir; embedding'e dönüştürülür, ardından normalizasyon, attention, projeksiyonlar, doğrusal olmayan dönüşümler ve katmanlar arası residual bağlantılarından geçer; sonunda model nihai logits'lerini üretir. 3D görünümde geliştiriciler bu yolu adım adım gezebilir: bir işlem seçebilir, katmanlar arasında hareket edebilir ve her adıma bağlı tensor'ları ve metadata'yı inceleyebilir.

İncelenebilir bileşenler kümesi, modern bir decoder'ın parça listesi gibi okunuyor: token embedding'leri, pozisyon bilgisi, RMSNorm, Q, K ve V projeksiyonları, grouped-query attention, RoPE, attention skorları, softmax, ağırlıklı değer toplama (weighted value aggregation), çıktı projeksiyonu, SwiGLU, MLP projeksiyonları, residual stream'ler ile logits'ler ve tahminler. Özellikle grouped-query attention için araç, bloğu tek bir opak birim olarak ele almak yerine query head'ler ile paylaşılan key/value grupları arasındaki ilişkiyi gösterebiliyor.

İnceleme görünümleri ve tensor verisi

Bir bileşen seçildiğinde, işlemin sade bir dille açıklamasını, uyguladığı denklemi, girdi ve çıktı boyutlarını, ilgili öğrenilmiş parametre sayısını ve çalışan modeldeki tensor yolunu içeren bir inceleme paneli açılıyor. Örneğin bir projeksiyon, 11. katmanın self-attention key projeksiyonu gibi bir ağırlığı; şekli, dtype'ı, parametre sayısı, katman indeksi ve runtime bilgisiyle birlikte gösterebiliyor.

Ayrıca ayrı bir tensor inceleme iş akışı var. dev.to gönderisi, 128'e 896 şeklinde, float32 tipinde, yaklaşık 114.700 parametreli ve yerel bir Hugging Face runtime'dan yüklenen 3. katman value projeksiyonu ağırlığını örnek veriyor — ekrandaki grafik ile modelin gerçek uygulaması arasında bilinçli bir bağ.

Köken etiketleri gerçek veriyi illüstrasyondan ayırıyor

Daha sıra dışı tasarım kararlarından biri de açık köken (provenance) bilgisi. Görüntülenen her şey dört kategoriden biriyle etiketleniyor: modelden veya runtime'dan doğrudan alınan değerler için REAL, gerçek model verisinden hesaplanan değerler için DERIVED, eğitsel temsiller için CONCEPTUAL ve bilinçli olarak sahte davranış için SIMULATION. Yazarın argümanı şu: etkileyici bir görselleştirme, model iç yapısını sessizce uyduruyorsa değersizdir; bu yüzden etiketler neyin ölçüldüğünü ve neyin yalnızca illüstre edildiğini netleştiriyor.

Proje aynı zamanda bir öğretim aracı olarak da tasarlanmış: her bileşen, işlemin ne hesapladığını, transformer'ın buna neden ihtiyaç duyduğunu, girdi ve çıktılarının ne olduğunu, sonraki işlemle nasıl bağlantılı olduğunu ve hangi parametre ile tensor'ların devrede olduğunu açıklamayı hedefliyor.

Yol haritası: görüntüleyiciden deney ortamına

TokenPrint yalnızca bir görüntüleyici olarak konumlanmıyor. Yazar, transformer hesaplamasını incelemek ve üzerinde deney yapmak için bir ortam inşa etme hırsını anlatıyor; hedef alanlar olarak attention incelemesi, aktivasyon analizi, residual stream analizi, tensor incelemesi, katman ve head deneyleri, ablation'lar, activation patching, trace replay ve model karşılaştırmaları sayılıyor.

Planlanan yönler arasında daha geniş Hugging Face model desteği, daha iyi model yeteneği tespiti, daha zengin execution trace'ler, uzaktan inference, deney iş akışları ve başkalarının orijinal runtime'ı yeniden kurmadan keşfedebileceği paylaşılabilir trace'ler yer alıyor. Kod GitHub'da barındırılıyor ve proje; frontend ile 3D görselleştirme, transformer mimarisi desteği, inference backend'leri, tensor enstrümantasyonu, debugging araçları, görselleştirme UX'i, eğitsel içerik ve araştırma deneyleri gibi alanlarda katkı davet ediyor. Tarayıcıda denemek için barındırılan bir örnek mevcut.

Neden önemli

Transformer debugging ve yorumlanabilirlik (interpretability) çalışmaları bol miktarda notebook, 2D attention ısı haritası ve statik diyagram üretti; ama karşılaştırıldığında az sayıda araç, bir geliştiricinin tüm hesaplama grafiği üzerinde etkileşimli biçimde gezinmesine izin veriyor. Diyagram düzeyindeki kavramları somut tensor'lara eşleyerek ve bir görünümün hangi parçalarının gerçek model verisi, hangilerinin illüstrasyon olduğunu etiketleyerek TokenPrint, eğitsel açıklamalar ile uygulama düzeyindeki debugging arasındaki boşluğu kapatıyor. Planlanan ablation ve activation patching özellikleri, mekanik yorumlanabilirlik (mechanistic interpretability) iş akışlarının bir Python oturumu yerine görsel bir arayüz içine doğru işaret ediyor. Bir uyarı: ayrıntılar projenin yazarının tek bir duyuru gönderisinden geliyor ve deney özellikleri, bugün hazır olan yetenekler olarak değil, projenin yöneldiği hedefler olarak tanımlanıyor.