PrismML, 1-bit Bonsai LLM'yi Qualcomm'un Snapdragon AR1 akıllı gözlük platformuna taşıdı

Ne duyuruldu

Qualcomm, çarşamba günü düzenlediği Snapdragon Summit'te PrismML'nin Bonsai dil modelinin doğrudan akıllı gözlük donanımında çalışan bir sürümünü tanıttı; bunu TechCrunch aktarıyor. Söz konusu gözlükler Qualcomm'un Snapdragon AR1 Gen 1 Platformu üzerine kurulu ve sergilenen yazılım ise tamamen cihaz üzerinde çalışacak şekilde tasarlanmış kompakt bir sistem olan 1-bit Bonsai LLM'di.

PrismML'nin kendisi, Caltech'ten araştırmacılar tarafından kurulmuş bir yapay zeka laboratuvarı ve UC Berkeley'den Ion Stoica danışman olarak görev yapıyor.

Görüntü ve dil için 2 milyar parametreli model

Akıllı gözlükler için hazırlanan sürüm, hem görsel hem de metinsel girdiyi işleyecek şekilde ayarlanmış 2 milyar parametreli bir model. TechCrunch'ın aktardığına göre bu, pratikte kullanıcının gözlüklere önünde ne varsa onunla ilgili soru sorabileceği ve yanıtın gerçek zamanlı olarak alınabileceği anlamına geliyor; çıkarım işlemi ise veri merkezinde değil yerel olarak gerçekleştiriliyor.

Modelleri küçültmek PrismML'nin öne çıkan uzmanlık alanı. Şirket, yaklaşımının bu durumda orijinal modeli yaklaşık dört kat küçülttüğünü, standart benchmark testlerindeki performanstansa neredeyse hiç ödün vermediğini belirtiyor. Bu denge — küçük bir ayak izi ve neredeyse eşdeğer benchmark skorları — güç kısıtlamalarına tabi giyilebilir donanımda yerel yürütmeyi ilk place'de mümkün kılan şey.

Açık ağırlıklar, yerel hesaplama

Snapdragon'a yapılan bu taşıma, PrismML'nin dile getirdiği daha geniş bir savunmanın da parçası. TechCrunch'ın tanımladığı gibi, laboratuvarın hedefi, insanların zaten sahip olduğu cihazlarda çalışan ve bu cihazlardaki hesaplama gücünden daha iyi yararlanan açık ağırlıklı yapay zeka. Bulutta barındırılan modellere sorgu göndermenin bugünkü varsayılanı ile karşılaştırıldığında bu yaklaşım iki yönlü avantaj sunuyor: kullanıcılar tescilli bir laboratuvarın gizlilik sözlerine inanmak zorunda kalmıyor ve ekosistem, sürekli büyüyen bir hesaplama iştahına daha az bel bağlıyor.

Qualcomm'un AR yongalarını hedefleyen bir model yayınlamak, bu vizyona somut bir adım; ama yalnızca bir adım. TechCrunch, PrismML'nin yazılımını çalıştıran henüz hiçbir akıllı gözlüğün duyurulmadığına dikkat çekiyor. Bugün mevcut olan şey, kanıtlanmış bir port ve bir platform hedefi; tüketicilerin satın alabileceği bir ürün değil.

Neden önemli

Giyilebilir cihazlar, üretken yapay zeka için en zor test durumudur. Gözlüklerin dar termal bütçeleri, küçük bataryaları ve gecikmenin kullanıcıya anında hissedildiği bir arayüzü var. Her sorguyu bulut üzerinden yönlendirmek bu üç açıdan da kötü uyum sağlıyor ve cihaz yüzünüzde taşınan bir kamera olduğunda gizlilik sorularını özellikle keskin hale getiriyor.

AR1 sınıfı donanımda yerel olarak çalışan 2 milyar parametreli bir model, bu kısıtlamaların elenen faktörler olmaktan çıkıp yönetilebilir hale geldiğine işaret ediyor. Ve PrismML tescilli bir uç nokta sunmak yerine açık ağırlıklar dağıttığı için, bu yaklaşım farklı bir yapay zeka teslim modeline, yeteneğin bir API'nin arkasında değil cihazın kendisinde yaşadığı bir modele işaret ediyor.

Uyarılar gerçek. Performansı koruma iddiaları günlük kullanıma değil standart benchmark testlerine ilişkin ve şimdiye kadar hiçbir üretici modeli bir üründe kullanma taahhüdü vermiş değil. Yine de Qualcomm'un Snapdragon Summit'te demoya sahne ayırması, çip üreticilerinin gözlüklerdeki cihaz üstü dil modellerini bir araştırma merakından ziyade yakın vadeli bir pazar olarak gördüğünün sinyalini veriyor.