MIT lisanslı macOS CLI'si bigarrow, yapay zeka agent'larının ekranınızda ok ve kutu çizmesini sağlıyor

Şu anda Hacker News'in ön sayfasında yer alan, MIT lisanslı küçük bir proje olan bigarrow, Mac'te çalışan yapay zeka agent'larına kullanıcının ekranına doğrudan büyük oklar, kutular ve metin etiketleri çizme yeteneği veriyor. Geliştirici franzenzenhofer tarafından geliştirilen ve GitHub'da barındırılan proje, Claude Code ve Codex'a bunun nasıl kullanılacağını öğreten kurulabilir bir skill ile birlikte tek bir Swift binary dosyasından oluşuyor.

Devir teslim için bir işaret kanalı

Projenin README'sine göre, motivasyonu oluşturan can sıkıcı durum tanıdık: bir agent bir kod tabanını yeniden yapılandırabilir veya bir migration yazabilir, ancak bir macOS izin diyaloğu ya da OAuth onay ekranı ortaya çıktığında tek çaresi, kullanıcının muhtemelen izlemediği bir termina "lütfen İzin Ver'e tıklayın" yazdırmaktır. bigarrow'ın cevabı bigarrow point --element "Allow" --app "System Settings" --text "Click Allow" gibi bir komut; bu komut her şeyin üzerinde duran, adı geçen kontrole yöneltilmiş büyük bir overlay oku yerleştiriyor ve ardından kendiliğinden kayboluyor.

README'ye göre overlay, tıklamayı geçiren (click-through) ve asla klavye odağını almayan bir yapıya sahip; her ekranda, Space'te ve tam ekran uygulamada çalışıyor ve çizim için hiçbir sistem izni gerektirmiyor. Daemon, menü çubuğu öğesi, hesap veya telemetry yok ve binary dosya kendi içinde hiçbir yapay zeka içermiyor; zekâ, onu çağıran agent'ta kalıyor.

Listelenen kullanım senaryoları insanın devrede kalması gereken anlar etrafında kümeleniyor: iki adımlı doğrulama kodları, CAPTCHA'lar, passkey'ler, ödeme onayları, imzalar ve yasal onay kutuları. Araç ayrıca belirsizliği giderme durumunu da kapsıyor; --window "Google Chrome:Pull request" tek bir pencereyi, hatta tek bir tarayıcı sekmesini bile seçebiliyor. Ayrıca --say, etiketi sesli okuyarak masadan uzaklaşmış kullanıcıyı geri çağırabiliyor. Diğer senaryolar arasında adım adım rehberli kurulum anlatımları, uzaktan yardım ve ekran kayıtları sırasında vurgulama yer alıyor; --png ise documentation için bir oku doğrudan bir görüntüye işliyor. --dry-run -- modu, bir okun nereyi işaret edeceğini raporluyor; bu da accessibility veya ekran görüntüsü koordinat sistemlerinde hata ayıklarken işe yarıyor.

README, aracın ne olmadığı konusunda da aynı derecede açık: insanlar için bir annotation aracı değil, bir tıklama botu değil ve bir ekran görüntüsü yardımcı programı değil. Asla tıklamıyor, yazmıyor veya hiçbir şey yakalamıyor. Sadece işaret ediyor.

Kurulum ve kontrol

Kurulum Homebrew ile yapılıyor (brew install franzenzenhofer/tap/bigarrow), ardından bigarrow install-skill çalıştırıldığında Claude Code için ~/.claude/skills ve Codex için ~/.agents/skills dizinlerine skill'ler yazılıyor. Kaynaktan derlemek Xcode 16 ve macOS 14 veya daha yeni bir sürüm gerektiriyor.

Hedefler koordinatlar (--at X,Y), dikdörtgenler, mevcut fare konumu, başlığa göre bir pencere veya sekme, bir uygulama içindeki etiketli bir UI öğesi ya da bir Peekaboo element ID olabilir. Araç varsayılan olarak önce hedef uygulamayı öne getiriyor; bir terminalin arkasına gömülü bir pencereyi işaret etmenin kimseye faydası yokmantığıyla hareket ediyor. Bir ok, hedefini başka bir uygulama kapatırken kendini gizliyor ve hedef yeniden görünür olduğunda tekrar ortaya çıkıyor. Oklar kendiliğinden süresi doluyor (varsayılan sekiz saniye) ve onları çizen sürece bağlı kalıyor, yani agent çıkarsa kayboluyorlar. Opsiyonel ekstralar arasında bir kapatma düğmesi, hareket eden bir pencereyi takip eden --follow ve --until-click yer alıyor.

Her komut -- kabul ediyor ve çıkış kodları hatalı girdi, eksik hedef ve eksik izinleri birbirinden ayırıyor; agent'ların iyi yönettiği türden bir makine tarafından okunabilir sözleşme.

İzinler ve odak

README'ye göre çizim işleminin kendisi ne Screen Recording ne de Accessibility izni gerektiriyor. Element hedefleme ve pencereyi öne getirme Accessibility kullanıyor; macOS bu izni bigarrow'a değil, shell'i çalıştıran terminal uygulamasına veriyor; doctor komutu bunun hangi uygulama olduğunu tespit ediyor. Pencere başlıklarını okumak macOS 26'da bildirildiğine göre Screen Recording gerektirirken, bir uygulamayı yalnızca adıyla hedeflemek gerektirmiyor. Yazar, overlay'in odağı çalmasını engellemeyi projenin en zor hatası olarak tanımlıyor; bunu olayları manuel olarak pump ederek çözmüş ve testler en öndeki uygulamanın asla değişmediğini doğruluyor. Görsel seçenekler arasında dört ok şekli, ok, halka ve kutu stilleri, geniş bir renk paleti ve etiketlerinin üst üste gelmesini engelleyen birden fazla eşzamanlı ok yer alıyor.

Neden önemli

Agent'lar kişisel makinelerde daha fazla gerçek iş üstlendikçe, yapabilecekleri ile bir insanın onaylaması gerekenler arasındaki sınır — onay, kimlik doğrulama, ödeme ve yasal mutabakat gibi — aktif bir koordinasyon sorununa dönüşüyor. bigarrow bu sınırın ötesine bilinçli olarak dar bir kanal öneriyor: agent dikkat yönlendirebiliyor ama harekete geçemiyor ve insanı gerçekten döngünün içinde tutuyor. Tasarımı aynı zamanda agent'lara yönelik araçlar için küçük bir şablon olarak okunabilir: kendi kendini temizleyen çıktı, her yerde JSON, anlamlı çıkış kodları ve açık izin teşhisleri. Dev zikzak okların standart ekipman haline gelip gelmeyeceğinden bağımsız olarak, agent'ların GUI'yi manipüle etmek yerine ona işaret etmesi fikrinin yayılması muhtemel.