Locally Uncensored 3.0.6, yerel yapay zeka modellerine katmanlı onay prompt'ları eşliğinde tıklama ve yazma yeteneği kazandırıyor

170.000'den fazla indirilen açık kaynak (AGPL-3.0) masaüstü uygulaması Locally Uncensored'ın 3.0.6 sürümü, ajanına bilgisayar kontrolü ekliyor: yerel bir model artık kullanıcının onayladığı uygulamalarda fareyi hareket ettirebiliş ve tuşlara basabiliyor. Sürümü duyuran dev.to gönderisine göre bu özellik bir beta ve geliştirme emeğinin büyük kısmı, model harekete geçmeden önce uygulamanın sorduğu izin sorularına harcanmış. Her şey yerel çalıştığı için, ajanın çektiği ekran görüntüleri ve ürettiği girdiler makinede kalıyor.

Onay katmanlı geliyor

Bilgisayar kontrolü varsayılan olarak kapalıdır ve Ayarlar altındaki Ajan İzinleri bölümünden açılması gerekir. Bunu etkinleştirmek genel bir onay değildir: uygulama her yeni sohbetin başında, her uygulamaya ilk kez dokunduğunda, varsayılan denetimli modda her işlemde ve otonom modda bile hassas işlemlerde sorar. Kullanıcı ilk prompt'ta İzin ver'e tıklayana kadar ekran görüntüsü alınmaz ve hiçbir şey olmaz; her onay yalnızca o sohbeti kapsar — yeni konuşmalar ve uygulama yeniden başlatmaları tekrar sorar ve bu kontrolü atlayan bir ayar yoktur.

Hassas olan, gönderen, satın alan, silen veya izinleri değiştiren her şeydir; bu onaylar gerekçeyi kırmızı renkle gösterir. Adı olmayan düğme, bağlantı veya menü öğelerine tıklamalar da aynı şekilde ele alınır, çünkü uygulama bunların ne yapacağını bilemez.

Yasak bölgeler ve kill switch

Bazı alanlar her modda kapalıdır: terminaller, parola yöneticileri, sistem oturum açma ve izin diyalogları, güvenlik ayarları, Çalıştır diyalogu ve yönetici pencereleri. Uygulama asla parola alanlarına yazmaz ve bunlara yapıştırmayı reddeder; bir programa, yükleyiciye, betiğe veya kısayola çift tıklama her zaman önce sorar.

Ctrl+Alt+Space bir oturumu duraklatır ve Ctrl+Alt+Esc durdurur (macOS'ta Control+Option). Otonom oturumlar, kullanıcı fareyi hareket ettirdiğinde de duraklar; ardından yapılanları gösterir ve devralma, devam etme veya talimat ekleme seçenekleri sunar. Bir ekran görevi en fazla 25 adım veya 8 dakika sonra sona erer; soruları yanıtlamaya harcanan süre de limite dahildir. Windows'ta etkinken uygulama, ekranın sağ üst köşesinde küçük bir overlay'e küçülür ve ekran kenarı boyunca mor bir parıltı gösterir; prompt'ları yalnızca fare tıklaması kabul eder, böylece hedef uygulama klavye odağını korur.

Ekranı hangi model kullanıyor

Varsayılan olarak ajan, halihazırda yapılandırılmış sohbet modelini kullanır. Windows'ta uygulama hedef pencerenin düğme ve alan listesini okur; görüntü yetenekli modeller ekran görüntüsünü bu listeyle birlikte alırken, yalnızca metin tabanlı modeller tek başına listeden çalışır — küçük yerel metin modellerini hiç mümkün kılan yol budur. Geliştiricinin karşılaştırmasında iki görev üçer kez çalıştırılmış, iki yöntem de altı koşunun tümünü tamamlamış: ekran görüntüleriyle toplam 497 saniye, yalnızca listeyle 381 saniye sürmüş. Sesli komutla istenen bir Not Defteri notunu, liste yöntemiyle yerel bir 9B model kullanarak yazmak, konuşulan komutun bitmesinden konuşulan sonuca kadar 11 ile 22 saniye sürmüş.

Katalogda ayrıca beta olarak işaretlenmiş ve 16 GB video bellekten itibaren önerilen özel bir ekran modeli, Holo 3.1 9B listeleniyor. Windows'ta basit bir yazma görevini üç denemeden birinde tamamlayabilmiş ve 12 GB'lık bir kartta 9B'lik bir sohbet modelinin yanına sığmıyor — geliştiricinin yine de rapor etmeyi tercih ettiği zayıf bir performans.

Platform kapsamı ve belirtilen uyarılar

Özellik, tek bir Windows 10 makinesinde adım adım test edildi. Linux henüz uygulamada çalıştırılmadı ve bir X11 oturumu gerektiriyor; macOS desteği mevcut ancak tamamen test edilmedi ve Erişilebilirlik ile Ekran Kaydı izinlerinin yanı sıra görüntü yetenekli bir model gerektiriyor. Düğme listesi ve otonom mod yalnızca Windows'a özgü olduğundan, Linux ve macOS'ta her tıklama hassas işlem olarak ele alınıyor. Hiçbir platformda arka plan modu yok; ajan ön planda gerçek işaretçiyle çalışıyor.

Geliştirici ayrıca bilinen sınırları listeliyor: küçük yerel modeller bir görevin bittiğini yanlış değerlendirebiliyor ve iş tamamlanmış olsa bile oturumu durdurulmuş olarak sonlandırabiliyor; ekrandan okunan metin güvenilmez olarak işaretleniyor, çünkü ekrandaki içerik modele talimat vermeye çalışabilir; hassas işlem algılama sabit bir ifade listesine dayanıyor; ve Windows testinden sonra yapılan sekiz düzeltme ile on güvenlik yaması yalnızca otomatik testlerde çalıştı. Kaynak kodu ve her sorunu ve sınırı tanımlayan bir belge GitHub'da yayınlandı.

Neden önemli

Bilgisayar kontrolü, bir sohbet modelini gerçek bir masaüstünde harekete geçebilen bir ajana dönüştüren şeydir ve şimdiye kadar dikkat çeken computer-use ajanları genellikle ekranınızı gören bulut tabanlı modellere bağlı. Locally Uncensored tersini gösteriyor: tamamen yerel, varsayılan olarak kapalı ve satın almaları, silmeleri ve izin değişikliklerini her zaman onaylayan katmanlı izinlerle korunuyor; ekrandaki metin olası bir prompt injection vektörü olarak ele alınıyor. Henüz erken aşamada — tek makine test edilmiş, platform desteği düzensiz, özel ekran modeli zorlanıyor — ama gizlilik öncelikli ajan izinlerinin çalışan bir referans uygulaması olarak, cihaz üzerindeki ajanlar için dikkat çekici bir adımı işaret ediyor.