Cua, computer-use agent yığınını açık kaynak yaptı: bulut masaüstleri, driver, System 1 modelleri ve benchmark'lar

Bilgisayar kullanan agent'lar için hepsi bir arada araç seti

Cua AI, Inc. tarafından trycua/cua adresinde yayınlanan ve yakın zamanda Hacker News'in ana sayfasında öne çıkan açık kaynak proje Cua, bir yapay zeka agent'ının bir bilgisayarı kullanması için gereken her şeyi paketliyor: yalıtılmış masaüstleri, otomasyon araçları, uzmanlaşmış karar modelleri ve bir değerlendirme altyapısı. Temel kaynak kodu MIT lisanslıdır; model ağırlıkları ve bazı üçüncü taraf bileşenler ayrı şekilde ele alınır.

Projenin deposuna göre Cua kendini bilinçli olarak altyapı katmanı olarak konumlandırıyor: kendi agent'ınızı ve modelinizi getirirsiniz, Cua bilgisayarı ve otomasyon araçlarını sağlar. Proje hedefini "Computer-Use 2.0" olarak tanımlıyor — yalnızca ekranda tıklamak yerine, tek bir görev içinde kod, API'ler ve grafik arayüzler arasında geçiş yapan bir agent.

Gerçek uygulamaları çalıştırmak için Cua Driver

Cua Driver, bir agent'a macOS, Windows ve Linux üzerinde yerel masaüstü uygulamalarını ve tarayıcıları incelemek ve çalıştırmak için araçlar verir. Depo üç entegrasyon yolu listeler — bir CLI, MCP ve tipli SDK'lar — ve Claude Code, Codex, Cursor ve OpenClaw gibi agent araçları için entegrasyonlara işaret eder. Bir arka plan teslim modu, uygulama ve platform desteklediği durumlarda agent'ların kullanıcının imlecini hareket ettirmeden veya pencere odağını çalmadan hareket etmesini sağlar. Projenin演示ı, bir terminal ön planda kullanılabilir kalırken, Omarchy Linux masaüstünde iki driver oturumunun LibreOffice Calc'ta hücreleri ve Inkscape'te nesneleri seçtiğini gösteriyor.

Sınırlı kararlar için küçük modeller: CUA-S1

Altyapının yanı sıra Cua, CUA-S1 adlı kendi küçük, uzmanlaşmış model ailesini de sunuyor. Depo vurguladığı üzere "System 1" etiketi mühendislik açısından bir benzetmedir: bu modeller hızlı, sınırlı kararları ele alır — örneğin bir form alanına hangi değerin gireceği veya bir ögeye dokunulup dokunmayacağı — ve kesin bir mimari sınıflandırma veya genel amaçlı bir agent'ın planlama ve akıl yürütmesinin yerine geçen bir şey değildir.

İlk araştırma profili olan CUA-S1-FORMS formları hedefliyor. Yanıtı token token üretmek yerine, yapılandırılmış arayüz ögelerinden ve belge değerlerinden alınan kararları puanlar; uygulama kodu eylemleri sıralar ve isteğe bağlı Cua Driver entegrasyonu bunları açık eylem sınırlarıyla yürütür. Sürüm Python model kodunu, sentetik veri üretimini, eğitimi ve değerlendirmeyi kapsıyor. GitHub bileşeni erken aşamada, yalnızca kaynak kodu içeren bir araştırma sürümüdür; model ağırlıkları ve veri seti ayrı olarak Hugging Face'te barındırılır ve her artefakt kendi lisansına ve belgelenmiş sınırlamalarına sahiptir.

Fleets ve Lume ile sandbox'lama

Bilgisayarların kendilerini iki bileşen sağlar. Cua Fleets, run.cua.ai üzerinden bulutta yalıtılmış Linux masaüstleri sağlar: bir Fleet sandbox kapasitesini korur, kod bir havuzdan masaüstü talep eder ve Sandbox SDK komutları çalıştırır, ekran görüntüleri yakalar ve içindeki uygulamalarla etkileşime girer. Dokümantasyon, talep sona erdikten sonra havuzların ücretli kapasite tutabileceği uyarısını yapar; bu yüzden temizlik adımlarını izlemek önemlidir.

Yerel çalışma için Lume, Apple'ın Virtualization.Framework'ünü kullanarak Apple Silicon üzerinde macOS ve Linux sanal makineleri oluşturur ve yönetir — hızlı başlangıç kılavuzu, bir Apple geri yükleme imajından bir macOS Tahoe sanal makinesi kurar ve SSH üzerinden bağlanır. Yerel sandbox'lar ve Fleets, Sandbox SDK'yı paylaşır; ancak kimlik bilgileri, imajlar, işlemler ve runtime gereksinimleri iki ortam arasında farklıdır.

Değerlendirme ve eğitim verisi için Cua Bench

Cua Bench, yığını computer-use görevleri tanımlama, agent'ları değerlendirme ve eğitim için yörüngeleri dışa aktarma araçlarıyla tamamlıyor. Hızlı başlangıç bilinçli olarak hafiftir: Python 3.12 veya 3.13 ve uv kuruluysa, simüle edilmiş bir görev sanal makine olmadan, Docker olmadan ve model API anahtarı olmadan çalışır ve değerlendiricinin 1.0 ödül bildirdiğini doğrular.

Lisans notları

Ana proje MIT lisanslıdır, ancak depo kendi koşullarına tabi üçüncü taraf bileşenlere işaret eder: Kasm MIT lisanslıdır, OmniParser CC-BY-4.0 lisanslıdır ve isteğe bağlı OmniParser entegrasyonu AGPL-3.0 altındaki ultralytics'i içerir — ticari benimseyenlerin bu ayrımı kontrol etmesi gereken bir durum. Proje ayrıca, platformlarını desteklemelerine rağmen Apple, Microsoft veya Canonical ile bağlantılı olmadığını veya onlar tarafından onaylanmadığını belirtir.

Neden önemli

Şimdiye kadarki computer-use çabalarının çoğu parçalardan bir araya getirildi: bir üreticinin modeli, bir ekran görüntüsü döngüsü, geçici sanal makineler ve elle hazırlanmış değerlendirmeler. Cua tüm hattı kapsıyor — sandbox'lı altyapı, işletim sistemleri arası eylem geçişi, uzmanlaşmış karar modelleri ve tekrarlanabilir benchmark'lar — açıkça agent'tan bağımsız tek bir açık kaynak projede. Bu, tek bir görevde kod, API ve GUI karıştıran agent'larla deney yapma eşiğini düşürüyor ve Cua Bench'in yörünge dışa aktarımı gerçek darboğaza işaret ediyor: computer use için eğitim verisi üretmek ve değerlendirmek, agent'ları çalıştırmak kadar zor. CUA-S1'in erken, yalnızca kaynak kodu aşaması ve bazı bileşenlerdeki karışık lisanslar, üretime geçişin özen gerektirdiği anlamına geliyor; ancak bir araştırma ve entegrasyon platformu olarak bu yığın alışılmadık derecede eksiksiz.