Araştırmacı, Samsung televizyonlarının oyunları tespit etmek için ekran görüntüleri üzerinde AlexNet modeli çalıştırdığını buldu

Ekranda kesintisiz görüntü sınıflandırma

X平台上 mike64_t adıyla paylaşım yapan bir araştırmacıya göre Samsung televizyonları, hangi video oyununun oynandığını tanımaya yönelik olarak ekran görüntüleri üzerinde her birkaç saniyede bir nicemlenmiş (quantized) bir sinir ağı çalıştırıyor. Bu keşif 25 Ekim'de Hacker News'in ana sayfasında öne çıktı ve Samsung'un akıllı TV serisinin altında yatan işletim sistemi Tizen'a yönelik devam eden bir tersine mühendislik çalışmasından ortaya çıkan en son ayrıntı.

Model ne ve nasıl çalışıyor

Araştırmacının paylaşım dizisine göre bileşen, alex.tflite adlı bir TensorFlow Lite dosyası ve yapısı, yaygın olarak kullanılan bir bilgisayarlı görü model kütüphanesi olan torchvision'da yayınlanan referans AlexNet uygulamasıyla eşleşiyor gibi görünüyor. Model INT8'e nicemlenmiş; bu, belleğin ve işlem gücünün sınırlı olduğu gömülü donanımda yaygın bir optimizasyon.

Araştırmacıya göre her çıkarım (inference) işlemi, mevcut ekranın 960×540 bir görüntüsünü alıyor ve birkaç saniyede bir tekrarlanıyor. Boru hattı doğrudan bir etiket üretmiyor gibi görünüyor; bunun yerine görüntüden öznitelik vektörleri hesaplıyor ve bunları, bir eşleşme bulmak için firmwaredeki bir veritabanıyla en yakın komşu araması kullanarak karşılaştırıyor.

Doğruluk konusundaki değerlendirmesi net: sistemin vakaların ezici çoğunluğunda başarısız olduğunu tahmin ediyor; tüm bunlar olurken de işlemci döngülerinin bedava olmadığı bir cihazda bu döngüleri tüketiyor. Paylaşım dizisinin parçası olarak modelin grafiğini de yayınladı ve örnek ekran görüntüleri döktü.

İzin verilmeden önce sonuçlar çöpe atılıyor

Bir ayrıntı özellikle gizlilik açısından önemli. Araştırmacı, sınıflandırma sonuçlarının appearing atıldığını bildiriyor; çünkü onları kullanacak her ne ise, özellik akışında daha sonra gelen bir izin isteminin arkasında duruyor. Başka bir deyişle televizyon, kullanıcı henüz hiçbir şeye onay vermeden ekranda olanı analiz ediyor olabilir ve o kapı geçilene kadar çıktıyı basitçe çöpe atıyor.

Daha geniş bir Tizen denetiminin parçası

Bu bulgu, araştırmacının Tizen hakkında derlediği daha büyük bir belgenin bir parçası. Araştırmacı bunu, platformun tartışmalı davranışlarına karşı canlı bir cihaz üzerinde şimdiye kadar yürütülmüş en kapsamlı çözümlemelerden biri olarak tanımlıyor ve otomatik analiz araçlarının üzerinde hâlâ çalıştığını söylüyor. Samsung'un bunların herhangi birini kamuya açık olarak belgeleyip belgelemediği — tespitin ne için olduğu, referans veritabanının ne içerdiği, eşleşmelerin hiçbir zaman yüklenip yüklenmediği — paylaşım dizisinde ele alınmıyor ve şirket bu iddiaya kamuya açık bir yanıt vermiş değil.

Hâlâ bilinmeyenler

Birkaç soru açık kalıyor: oyun tespitinin hangi özelliği beslemesi amaçlandığı, karşılaştırma veritabanının nasıl doldurulduğu ve güncellendiği, tespit sonuçlarının hiç cihaz dışına aktarılıp aktarılmadığı ve aynı bileşenin Samsung'un tüm TV yelpazesinde mi yoksa yalnızca belirli model ve bölgelerde mi geldiği. İddia tek bir araştırmacıdan geliyor ve henüz bağımsız olarak doğrulanmış değil.

Neden önemli

Bir televizyonun ekran çıktısı, dokunduğu en hassas yüzeydir: oyunlar, görüntülü aramalar, fotoğraflar, bir dizüstü bilgisayardan yansıtılan belgeler. Bu yüzeyi sürekli sınıflandıran bir model bir tür ortam izlemesidir ve bunu bir izin kapısından önce çalıştırmak, alışılmış bildirim-ve-onay dengesini tersine çevirir. Her şey cihaz üzerinde kalsa bile — ve paylaşım dizisi bunun aksini göstermiyor — bu örüntü önemli; çünkü bugün yerel olarak çalışan bir sınıflandırıcı yarın sessizce telemetriye yönlendirilebilir ve bunun gibi firmware modelleri, onları çalıştıran insanlar için neredeyse hiçbir zaman belgelenmiyor.

Bu aynı zamanda tüketici firmware'ine gömülü davranışın ne kadar arttığını da gösteriyor. AlexNet, 2012 dönemine ait bir mimari ve modern standartlara göre son derece ucuz; bu da kimsenin sormadığı arka plan görevleri için gömülmesini kolaylaştırıyor. Bağımsız tersine mühendislik, bu eğilime karşı geriye kalan az sayıdaki denetimden biri olmaya devam ediyor ve bu vaka, yalnızca veri toplamanın değil izin akışlarının da kendi ekranlarını izleyen cihazlarda incelenmeyi hak ettiğini hatırlatıyor.