Vercel'in agent-desktop aracı, kodlama agent'lerine erişilebilirlik ağaçları üzerinden yerel uygulamaları kullanma imkânı sunuyor

Vercel agent-desktop'ı yayınladı

Vercel Labs, kodlama agent'lerinin kullanıcının işaretçisini hareket ettirmeden ve odağı çalmadan, işletim sisteminin erişilebilirlik ağacı üzerinden yerel masaüstü uygulamalarını okumasını ve yönetmesini sağlayan açık kaynaklı agent-desktop aracını yayınladı.

dev.to'daki bir yazıya göre 1.0.2 sürümü 30 Ekim'de yayınlandı. README, aracı "yapay zekâ agent'leri için bilgisayar kullanımı" olarak tanımlıyor; macOS, Windows ve Linux üzerinde çalışan, Apache-2.0 lisanslı bir Rust CLI artı bir C kütüphanesinden bahsediyor. Araç hiçbir model içermiyor: bir agent, onu tamamen shell komutları çalıştırarak kullanıyor ve herhangi bir CLI gibi npm ile kuruluyor.

Vercel'den Chris Tate'in ifadesiyle araç, "tam bilgisayarınız için agent-browser" olarak tanımlandı; burada Vercel'in web sayfaları için daha önceki agent-browser aracına atıf yapılıyor. CEO Guillermo Rauch ise lansmanı "Her masaüstünde bir agent" ifadesiyle paylaştı.

Neler yayınlandı

ShiftDelete'a atıf yapan dev.to yazısı, projenin Şubat ayında başladığını ve daha sonra Vercel Labs organizasyonu altına taşındığını belirtiyor. Windows 10 1809+ desteği 18 Ekim'de v0.10.0 ile geldi; v1.0.2 ise bir dokümantasyon sitesi ekledi ve AGENTS.md'yi agent'ler için tek talimat dosyası haline getirdi. MarkTechPost ve AlexTech lansmanı ertesi gün ele aldı; depo 2 Kasım itibarıyla yaklaşık 6.900 yıldıza sahipti.

Belgelerde belirtilen alt sınır, AX API üzerinden macOS 13 ve üzeri (Intel veya Apple Silicon), UI Automation üzerinden Windows 10 1809 ve üzeri, AT-SPI üzerinden Ubuntu 24.04 ve üzeri; hem x64 hem ARM64 destekleniyor.

Döngü nasıl çalışıyor

agent-desktop her çağrıda tek bir adım yapar: her komut tek bir JSON zarfı basar ve çıkar; dolayısıyla gözlemle-eyle-y Doğrula döngüsü çağıran agent'te yaşar. Tipik bir dizi, uygulamanın etkileşimli öğelerinin anlık görüntüsünü alır (her biri bir referans ID'si ile döner), bu referanslardan birine etki eder ve sonucu doğrulamak için yeniden anlık görüntü alır.

Referanslar, onları üreten anlık görüntüye bağlıdır. v0.10.0 çıplak referansları kaldırdığından, eski biçimli referanslar INVALID_ARGS ile başarısız olur; agent çalışırken arayüz değiştiyse çağrı STALE_REF döner ve agent yeniden anlık görüntü almalıdır. Birden çok eşleşen pencere, aday pencere ID'leriyle birlikte AMBIGUOUS_TARGET üretir. Her hata bir disposition taşır ve README, yalnızca retry disposition'ı güvenli olarak işaretlendiğinde yeniden denemeyi önerir.

Çağrılar varsayılan olarak headless'tır: referans tabanlı eylemler işaretçiyi hareket ettirmeden veya odağı almadan erişilebilirlik API'sinden geçer. Genel bir --headed bayrağı, bir uygulama gerçekten gerektiriyorsa fiziksel fare ve klavye girdisine izin verir; ShiftDelete, birden çok agent aynı anda çalıştığında her birine kendi renkli imlecinin düştüğünü ve fiziksel işaretçi eylemlerinin sırayla yapıldığını bildiriyor.

Token iddiaları kendi bildirimlerine dayanıyor

Projektin ekran görüntüsü tabanlı bilgisayar kullanımına karşı ana argümanı maliyet; ancak dev.to yazarı, şimdiye kadarki tüm rakamların projenin kendisinden geldiğini vurguluyor ve aracı çalıştırmadığını açıkça belirtiyor.

Geliştirici, Apple Maps'in tek bir bölgesinin anlık görüntüsü için 273 token, tüm pencere için 3.811 token bildirdi; CellCog'un özetlediği gibi simüle edilmiş 52 adımlı bir görev 198k'dan 31k token'a düştü. AlexTech, "iskelet" modunun (bir uygulamayı yüzeysel olarak haritala, sonra --root ile tek bir alt ağaca in) Slack, VS Code ve Notion'daki tam ağaç dökümlerine kıyasla %78 ile %96 arasında tasarruf sağladığını, ancak bunları doğrulanmamış, kendi bildirimlerine dayalı rakamlar olarak açıkça işaretlediğini söylüyor. CellCog, bu tür karşılaştırmalar için henüz ortak bir ölçütün bulunmadığını ekliyor.

Sınırlar, izinler ve gizlilik

Dokümantasyon kısıtlar hakkında açık sözlü. Araç erişilebilirlik ağaçlarını okur ve pikselleri eşleştirmez; dolayısıyla erişilebilirlik ağacı yayınlamayan her arayüz onun için görünmezdir — etkinlik, her uygulamanın ne kadar iyi inşa edildiğine bağlıdır. Web sayfalarını otomatikleştirmez; o iş agent-browser'da kalır, ancak Chromium veya Electron uygulamalarındaki web içeriği için bir DevTools portu açabilir. CLI platformlar arasında 60 komut adı açığa çıkarır, düşük seviyeli dört girdi komutu her yerde fail-closed davranır ve başarılı bir eylem, arayüzün değiştiğini kanıtlamaz; bu yüzden dokümanlar wait --element gibi bir değer koşuluyla takip eden bir okuma önerir.

macOS'ta Erişilebilirlik izni, agent-desktop'ı çalıştıran hangi uygulamaya gider — agent bir terminalde yaşıyorsa izni isteyen terminaldir — ve README, TMPDIR'in kullanıcıya ait ve 0700 modunda olmasını gerektirir. README ayrıca anlık görüntülerin, pano okumalarının, ekran görüntülerinin ve hata ayıklama yapıtlarının özel masaüstü içeriği içerebileceği konusunda uyarır; dolayısıyla agent transkriptleri artık ekranda ne varsa tutabilir. SSS daha da ileri giderek sansürlemenin "bir ekran görüntüsünü yayınlamayı güvenli hale getirmediğini" belirtiyor. Yerel CLI hiçbir uzak model servisi gerektirmez; ancak isteğe bağlı bir JEV yardımcısı, hedefleri ve ekran açıklamalarını yapılandırılmış bir model sağlayıcısına gönderir.

Neden önemli

Agent destekli bilgisayar kullanımı şimdiye kadar büyük ölçüde ekran görüntüsü tabanlı kontrol anlamına geldi: token açısından pahalı, arayüz değişikliklerine karşı kırılgan ve fiziksel işaretçiyi ele geçirdiği için yıkıcı. Erişilebilirlik ağaçları üzerinden çalışarak agent-desktop, agent çalışırken kullanıcının makinesini kullanılabilir tutan yapılandırılmış ve daha ucuz bir yol sunuyor; bunu, paketlenmiş bir model olmadan, mevcut herhangi bir kodlama agent'inin shell'den çağırabileceği sıradan bir CLI olarak yapıyor.

Uyarılar en az bunun kadar önemli. Token tasarrufları ortak bir benchmark olmadan kendi bildirimlerine dayanıyor ve erişilebilirlik desteği zayıf uygulamalara tamamen ulaşılamıyor. dev.to yazarının da belirttiği gibi, Finder'daki bir tıklama git diff bırakmaz: dosya değişiklikleri üzerine kurulu inceleme akışları, bir agent'in başka bir uygulamada ne yaptığını göremez. Bunu benimseyen ekiplerin yalnızca yeni bir araca değil, yeni inceleme ve sansürleme alışkanlıklarına da ihtiyacı olacak.