Google Research, model yeniden eğitimi gerektirmeden agent harness'lerini optimize eden Harness² çerçevesini yayınladı

Harness² ne yapıyor

Google Research, bir dil modelinin çevresindeki her şeyi — sistem prompt'unu, araç tanımlarını, belleği, subagent'ları, becerileri ve orkestrasyonu — mühendislerin elle ayarladığı bir şey değil, optimize edilebilir bir sistem olarak ele alan açık kaynak bir çerçeve olan Harness²'yi yayınladı. Hacker News'in ana sayfasında öne çıkan projenin GitHub deposu, bu çevresel mekanizmaya "harness", onu iyileştirme eylemine de "harnessing" adını veriyor.

Depoda belirtilen motivasyon açık dünya (open-world) problemi: agent'lar, harness'leri tasarlanırken kimsenin öngörmediği görevlerle düzenli olarak karşılaşıyor. Harness² buna, harness'i otomatik olarak rafine ederek yanıt veriyor ve bunu model ağırlıkları sabit tutarak yapıyor — hiçbir fine-tuning işlemi söz konusu değil.

İç içe iki döngü

Depoya göre çerçeve iki özyineleme düzeyini birbirine bağlıyor.

İlk düzey görev düzeyinde çalışıyor ve yazarların Propose–Probe–Compose adını verdiği bir döngü üzerinden ilerliyor. Harness'e yapılacak aday değişiklikler öneriliyor, ardından mevcut görev üzerinde fiilen çalıştırılarak sınanıyor ve bu çalıştırmalar arasındaki davranışsal farklardan daha iyi bir harness oluşturuluyor. Özellikle bu, ground-truth geri bildirimi gerektirmiyor — döngü, etiketli cevaplar yerine çalıştırmalar arasındaki kontrastlardan öğreniyor.

İkinci düzey görevler arasında kalıcı oluyor. Her görevden sonra, benimsenen harness ve çalıştırma kanıtlarıyla desteklenen dersler, gelecekteki rafinasyonu yönlendiren kalıcı bir iyileştirme harness'ine besleniyor; böylece sistem sıfırdan başlamak yerine deneyim biriktiriyor.

Düzenleme için sekiz bileşen açığa çıkarılmış durumda: sistem prompt'u, guardrail'ler, bellek, araç rehberliği, subagent'lar, beceriler, script'ler ve plugin'ler. Özyineleme, birçok adayı aynı anda sınayıp kanıtlarını birleştiren paralel modda ya da rafine edilmiş bir harness'i ardışık adımlar boyunca taşıyan sıralı modda çalışabiliyor. Hem OpenCode hem de Codex çalıştırıcıları destekleniyor.

Bildirilen sonuçlar

Geliştiriciler çerçeveyi üç profesyonel benchmark üzerinde değerlendirmiş — profesyonel iş için JobBench, hukuki iş için LAB ve ofis, web ile kod görevlerini kapsayan WorkBuddy-Bench — dört model–harness konfigürasyonu boyunca. Tek bir Harness² adımının GLM-5 ve Gemini 3.5 Flash'ı temel harness'lerinin üzerine çıkardığını, WorkBuddy-Bench'te 11,5 puan, JobBench'te 4,5 puan ve LAB'ın kısmi geçme oranında 11,8 yüzde puanına varan kazanım sağladığını bildiriyorlar. --k bayrağıyla kontrol edilen görev düzeyindeki özyineleme bütçesinin artırılmasının daha fazla kazanım getirdiği belirtiliyor.

Pratik notlar

Proje Python 3.12 ve uv ile Linux'u hedefliyor; model destekli çalıştırmalar ayrıca Node.js 20+, Google Cloud CLI ve Vertex AI yapılandırması gerektiriyor. Yerel bir demo, her iki özyineleme modunu deterministik düzenleyicilerle ve model kimlik bilgileri olmadan çalıştırıyor; benchmark'lar ise WorkBuddy-Bench için Docker, LAB için Pandoc ve Poppler gibi bağımlılıklar ekliyor. Model destekli çalıştırmalarda API maliyetleri geçerli ve dokümantasyon, küçük bir görev seçimiyle başlamayı öneriyor.

Bir uyarı belirgin şekilde işaretlenmiş durumda: çalıştırıcının ağ erişimi kısıtsız ve Codex, sandbox devre dışıyken çalışıyor; ayrıca halka açık benchmark değerlendirme kriterlerine çevrimiçi olarak erişilebilir olabiliyor. Kullanıcılara, agent'ların cevapları veya puanlama kriterlerini çekememesi için değerlendirme öncesinde ağ kısıtlamalarını yapılandırmaları söyleniyor.

Kod Apache 2.0 lisanslı ve resmî olarak desteklenen bir Google ürünü olmadığına dair standart araştırma feragatnamesini taşıyor. Eşlik eden makale, Ruiyao Xu ve arkadaşları tarafından yazılan arXiv ön baskısı 2610.14224 olarak anılıyor.

Neden önemli

Agent mühendisliği sessizce bir iskele zanaatına dönüştü: ekipler haftalarını prompt'ları, araç açıklamalarını ve bellek politikalarını elle ayarlayarak geçiriyor ve bu emek, görev dağılımı değiştiğinde sessizce geçerliliğini yitiriyor. Harness² bu katmanı, kendi çalıştırmalarından, yeniden eğitim ve etiketli geri bildirim olmadan kendini iyileştiren birinci sınıf bir optimizasyon hedefine yükseltiyor. Bildirilen kazanımlar yazarların kendi benchmark'larının dışında da geçerliyse pratik sonucu önemli — daha iyi agent performansı bir sonraki model sürümünden değil harness döngüsünden gelebilir ve mevcut modeller alışılmadık işlerde daha ileri taşınabilir. Bir araştırma deposundan gelen her kendi kendine bildirilen sonuçta olduğu gibi, sıradaki test bağımsız tekrarlanabilirlik olacak.