Browser-use iç yapısı: DOM damıtma, Set-of-Mark grounding ve kendini onaran web agent'ları

Kırılgan selector'lardan uyum sağlayan agent'lara

Makale, bilinen bir başarısızlık durumuyla açılıyor: Selenium veya Playwright'te XPath ya da CSS selector'ları üzerine kurulu otomasyon, ön yüz ekibi bileşen ağacını yeniden yapılandırdığında ya da hash'li sınıf adlarına sahip utility-first CSS'e geçtiğinde bozuluyor. Yazara göre alan, sayfayı bir insan gibi ele alan, render edilmiş ekran görüntüsünü okuyan, neyin etkileşimli olduğunu yorumlayan, çok adımlı eylemler planlayan ve beklenmedik modal'lardan veya bot zorluklarından kurtulan agent'lara doğru kaydı.

DOM'u bir token bütçesine sıkıştırmak

Modern bir tek sayfalı uygulamanın ham HTML'ini modele beslemek pratik değil; dev.to yazısı, bu tür sayfaların küçültülmüş işaretlemeyle iki megabaytı aşabileceğine dikkat çekiyor. Browser-use bunun yerine sayfaya, ağaç modele ulaşmadan budayan bir dolaşma script'i enjekte ediyor. İnceleme adımları şöyle sıralıyor: script'leri, stilleri, SVG path'lerini ve gizli öğeleri at; yalnızca buton, input ve link gibi etkileşimli düğümleri tut; anlamsız sarmalayıcı div'leri düzleştir; aria-label, placeholder, role ve href gibi anlamlı öznitelikleri koru. Sonuç, makaleye göre kabaca 5-15KB, yani yaklaşık 1.500 ila 3.000 token'lık bir semantik ağaç.

Eylemleri numaralı işaretlerle grounding etmek

Piksel koordinat tahmini diğer klasik başarısızlık noktası; çünkü görüntü ölçekleme ve viewport farkları, sabit bir x ve y'ye tıklama gibi bir talimatı güvenilmez kılar. Browser-use Set-of-Mark prompting uyguluyor: yüksek çözünürlüklü bir ekran görüntüsü üzerine etiketli bounding box'lar çiziyor, her etkileşimli öğeye sayısal bir rozet atıyor ve modelin koordinat hesaplamak yerine öğelere indeksle referans vermesini sağlıyor; örneğin click_element(index=14) veya input_text(index=3, text="...") gibi. Makale bunun eylem yürütme hassasiyetini yüzde 95'in üzerine çıkardığını iddia ediyor, ancak bu rakam tedarikçi kıyaslaması değil, yazarın kendi ölçümü.

Bir doğrulama adımı ve kendini onaran bir watchdog

Makaleye göre kurumsal iş akışları çoğu zaman 10 ila 30 sıralı adımdan oluşuyor; bu yüzden Browser-use her döngüyü gözlemle, akıl yürüt, planla, eyleme geç ve doğrula olarak düzenliyor: DOM'u budula ve açıklamalı ekran görüntüsünü yakala, kullanıcı hedefini mevcut durumla tart, tek bir atomik eylem seç, Playwright'ın Chrome DevTools Protocol bağlantısı üzerinden gönder, ardından ağın sakinleşmesini ve sayfanın gerçekten değiştiğini doğrulayan bir DOM mutasyonunu bekle. İki güvenlik önemi öne çıkıyor. Kaydırma, ziyaret edilen koordinatların hafif bir geçmişini tutarak agent'ın sayfanın iki ucu arasında sonsuza dek salınmasını önlüyor. Ve ardışık üç tıklama sayfanın yapısını ya da düzenini değiştiremezse, bir watchdog temiz bir yeniden yükleme yapıp modele bağlamsal geri bildirim veriyor ve onu engelleyen bir modal katmanı ya da kaydırma ihtiyacı olup olmadığını kontrol etmeye yönlendiriyor.

Gerçek dünya savunmaları için sağlamlaştırma

Gözetimsiz agent'ların web savunmalarından da sağ çıkması gerekiyor. Dev.to yazısı, navigator.webdriver gibi otomasyon izlerini silen playwright-stealth'ı, user agent'ları, viewport boyutlarını ve donanım eşzamanlılık değerlerini rastgeleştirmeyi, ayrıca yazmaya insan benzeri mikro-titreşim ve fare hareketine Bezier eğrileri eklemeyi öneriyor. CAPTCHA ve iki faktörlü kimlik doğrulama içinse tavsiy pragmatik: bunları otomatikleştirmeyin. Agent düşmanca bir zorluk algıladığında otomatik döngüsünü askıya almalı ve kırılgan bir geçici çözüm denemek yerine webhook, Slack ya da Teams üzerinden bir insanı bilgilendirmelidir.

Neden önemli

Browser-use'ün popülaritesi tek bir zekice numaradan çok tekrarlanabilir bir tarife dayanıyor: context window'u korumak için DOM'u sıkıştır, eylemleri koordinatlar yerine numaralı işaretlere bağla, devam etmeden önce her adımı doğrula ve otomasyonun kırılgan olduğu noktada tam olarak insana devret. Bu dört hamle — token disiplini, referanslı grounding, açık doğrulama ve insan-döngüde tırmanma — üretim web agent'ları için varsayılan mimariye dönüşüyor ve bu inceleme, parçaların nasıl birleştiğinin faydalı bir haritası. Yıldız sayılarından hassasiyet iddialarına kadar öne çıkan rakamlar hızlı gelişen bir proje hakkındaki tek bir topluluk makalesinden geliyor; bu yüzden yerleşik kıyaslamalar değil, yol gösterici veriler olarak değerlendirin.