Açık kaynak r2d2-tv, webOS televizyonları yerel sesli asistanlı, gizlilik odaklı akıllı ekranlara dönüştürüyor

Bağımsız bir geliştirici, LG webOS televizyonları gizlilik odaklı akıllı ekranlara dönüştüren açık kaynak bir proje olan r2d2-tv'yi yayımladı. GitHub deposu üzerinden Hacker News'te paylaşılan yazılım üç şey sunuyor: yerel bir ana ekran, kullanıcının kendi donanımında işlenen bir tarayıcı ve konuşma modelleri bir sağlayıcının bulutu yerine yerel ağda çalışan push-to-talk sesli asistan.

Parçalar nasıl bir araya geliyor

Depoya göre sistem, sorumlulukları televizyon ile ayrı bir bilgisayar arasında paylaştırıyor. Ana makine — bir aarch64 Linux makinesi — korumalı (sandboxed) bir Chromium oturumunu özel bir görüntü ve ses ortamında çalıştırıyor ve bunu LAN üzerinden televizyona aktarıyor. Aynı makine, ses tanıma ve niyet (intent) modellerinin yanı sıra asistana yürütülmesine izin verilen komutların kayıtlı olduğu kapalı bir kayıt defterini de barındırıyor.

Televizyon ise ekran, uygulama başlatıcı ve giriş aygtı rolünü koruyor. Kumanda girdisini ana makineye ileten bir görüntüleyiciyle birlikte bir Home uygulaması ve bir tarayıcı görüntüleyicisi televizyonda çalışıyor. Ses içinse root düzeyinde bir yakalama bileşeni kumandadaki ses tuşunun kontrolünü üstleniyor ve sınırlı bir ses akışını karşılıklı TLS üzerinden ana makineye iletiyor.

İçerik engelleme, her tek kullanımlık tarayıcı profiline yüklenen sabitlenmiş filtre kurallarıyla yapılıyor; bu yaklaşım ruh itibarıyla masaüstü reklam engelleyicilerine benziyor.

Ses çıkarımı yerelde kalıyor

Projenin gizlilik vaadi net: model çıkarımı (inference) hiçbir zaman ana makinenin dışına çıkmıyor. Depo bu iddianın sınırları konusunda da aynı derecede açık — erişilmek istenen web siteleri, aramalar, akış uygulamaları ve isteğe bağlı bir hava durumu özelliği yine kendi sağlayıcılarına bağlanıyor. Sınırları bir SECURITY.md dosyası belgeliyor.

Zorlayıcı ön koşullar

Bu yığını çalıştırmak kolay değil. Belgelenen ana makine gereksinimleri arasında root olmayan bir servis hesabı, sandbox özelliği etkin Chromium snap'i, özel bir X görüntüsü için Xvfb, WebRTC yolu için PipeWire, WirePlumber ve GStreamer eklentileri, MSE ve AirPlay yolları için donanım HEVC kodlaması yapabilen FFmpeg ve sabitlenmiş yerel modelleri sunmak için CUDA destekli bir GPU ile Python 3.12 — yaklaşık 10 GB ağırlık dosyası — yer alıyor.

Televizyon tarafında ise yazılım, bir webOS cihazında sistem düzeyinde root erişimi ve paket kurmak için yetkili bir yol varsayıyor. Yerel ses yakalama ayrıca birebir eşleşen firmware derlemesine uygun bir araç zinciri ve başlık dosyaları gerektiriyor. Derlemeler yerelde üretiliyor ve cihazla iletişim kurmuyor; tarayıcı kısayolu özel bir yetenek anahtarının arkasına kilitlenmiş durumda ve marka logoları pakete dahil edilmiyor, dolayısıyla kullanıcı kullanım hakkına sahip olduğu görselleri sağlamadığı sürece ana ekranda yalnızca metin kutucukları görünüyor.

Açık risk uyarıları

README tehlikeler konusunda alışılmadık derecede açık sözlü. Televizyon bileşenleri root olarak çalışıyor ve üreticinin sistem servislerini değiştiriyor ya da bunlara kanca takıyor; yazar bunları desteklenmeyen, garantiyi geçersiz kılma potansiyeli taşıyan ve yeniden başlatma ya da fabrika ayarlarına dönüş yapılmadan televizyonu kullanılamaz hale getirebilecek işlemler olarak tanımlıyor. Firmware karmaları, kod ofsetleri, sembol adları ve yama çapaları tek bir referans derlemeyi hedefliyor; kullanıcılar bunları kendi firmware'leri için yeniden türetmek zorunda ve uyuşmayan bir pimi zorlamamaları konusunda uyarılıyor. Yapılacak bir hata, cihaz onarılana kadar kumandayı, Home düğmesini veya ses girdisini devre dışı bırakabilir.

Durum bölümü beklentileri daha da daraltıyor: uçtan uca yapılandırma — Home, tarayıcı ve kumandadan sesli komutlar — tek bir televizyon ve firmware kombinasyonunda doğrulanmış durumda. Televizyon, firmware, kumanda ve ana makinenin diğer tüm kombinasyonları test edilmemiş olup depo, evrensel bir kurulum aracı yerine kaynak kod ve çevrimdışı testler sunuyor.

Proje MIT lisanslı; tarayıcı eklentisi, filtre araçları ve verileri ile iki runtime adaptörü GPL-3.0-or-later kapsamında. Proje tamamen bağımsız ve LG Electronics, Lucasfilm veya The Walt Disney Company ile herhangi bir bağı yok.

Neden önemli

Akıllı televizyonların çoğu ana ekranlarını, arama ve ses özelliklerini üreticilerin bulut servisleri üzerinden yürütüyor. r2d2-tv, paneli ve uygulama ekosistemini koruyan ama beyni — ana ekran, tarayıcı ve ses — yerel model çıkarımı ve LAN akışıyla sahibin kontrolündeki donanıma taşıyan çalışan bir alternatif gösteriyor. Bu bir tüketici ürününden çok bir meraklıların yol haritası ve giriş bedeli yüksek: root erişimli firmware, derlemeye özgü ikili yamalar, bir CUDA GPU ve 10 GB model ağırlığı. Yine de, zekânın başkasının veri merkezinde yaşaması gerektiği varsayımı kaldırıldığında gizlilik odaklı bir akıllı ekranın nasıl görünebileceğini gösteriyor.