Momentic, 70 milyon test çalışmasında 117 binden fazla hata yakaladığını söylediği yapay zekâ QA agent'larını duyurdu

Ne duyuruldu

Y Combinator Kış 2024 dönemi girişimi Momentic, Hacker News'te bir yapay zekâ QA mühendisi olarak tanımladığı Mo adlı ürününü duyurdu; bu ürün, bir kullanıcı akışını描述 eden bir prompt'tan uygulamaları uçtan uca test ediyor. Kırılgan selector'lar üzerine kurulu kayıtlı UI testleri yerine mühendisler, düz İngilizceyle ne olması gerektiğini tarif ediyor ve agent'lar bunu doğrulamak için uygulamayı kullanıyor.\n 2 Kasım 2026 tarihli duyuru yazısı, coding agent'ların yazılım geliştirmeyi çarpıcı biçimde hızlandırdığını ve darboğazın artık bir değişikliğin gerçekten çalışıp çalışmadığını bilmeye kaydığını savunuyor. Momentic'in yaklaşımı, doğrulamanın aynı döngünün içinde, agent'ların kanıtı doğrudan uygulamadan toplamasıyla gerçekleşmesi gerektiği yönünde.

Agent'lar nasıl çalışıyor

Testler, depoda (repository) saklanan ve mühendisler ile coding agent'ların inceleyip sürümleyebildiği YAML dosyalarında düz İngilizce adımlar ve assertion'lar olarak tanımlanıyor. Bu çekirdeğin etrafında platform, destekleyici birkaç sistem katmanlaştırıyor.

Bir bilgi tabanı ürün terminolojisini, iş kurallarını ve beklenen davranışı tutuyor; yapay zekâ destekli adımlar bir test çalışırken ilgili kayıtlara danışıyor. Bir uygulama grafı (app graph), agent'ların çalıştırmalar sırasında karşılaştığı ekranları ve kullanıcı akışlarını haritalıyor.

Arayüz değiştiğinde agent'lar, çalışma sırasında kontrolleri yeniden bulmaya çalışıyor. Değişiklik kalıcıysa sistem, bir kişinin inceleyip uygulayacağı ve yeniden çalıştıracağı şekilde test dosyasına bir düzenleme öneriyor. Momentic, bugüne kadar 8.932.104 böyle bir otomatik iyileştirme (auto-heal) eylemi raporluyor.

Hatalar için araç, hangi adımın bozulduğunu ekran görüntüleri ve trace'lerle birlikte gösteriyor ve bir yapay zekâ triage aşaması her hatayı uygulama hatası, test flakiness'i veya ortam sorunu olarak sınıflandırıyor.

Entegrasyon geliştirme iş akışının tamamını kapsıyor. Coding agent'lar MCP üzerinden bağlanarak değişen bir akış için test yazabiliyor, canlı bir oturumda deneyebiliyor ve ortaya çıkan YAML dosyasını kaynak kodun yanına kaydedebiliyor. Bir CLI aynı testleri CI içinde çalıştırıyor ve çıkış kodu, merge veya deploy öncesi zorunlu bir kontrol olarak kullanılabiliyor.

Yayımlanan rakamlar

Şirketin sitesi, bağımsız olarak denetlenmemiş ve şirketin kendi bildirdiği güncel toplamları gösteriyor:

• 77.813 oluşturulan test
• 70.607.819 gerçekleştirilen test çalışması
• 339.166 doğrulanan değişiklik
• 80.290 doğrulanan pull request
• 8.932.104 otomatik iyileştirme
• 117.010 yakalanan hata

Siteyeki referanslarda Notion, Webflow, Runway, Quora ve Coframe gibi isimli müşteriler yer alıyor. Momentic'in aktardığı bir Quora vaka çalışması, günlük test yürütme süresinin yedi saatten 30 dakikaya düştüğünü, 500'den fazla manuel test senaryosunun yerini aldığını ve tüm kritik testlerin bir ay içinde oluşturulduğunu bildiriyor. Runway'ın mühendirlik yöneticisi, 110 prompt genelinde yapılan bir otomatik değerlendirmenin 14 dakikada tamamlandığını ve bu işin elle yapılsaydı bir saatten fazla süreceğini tahmin ettiğini anlatıyor. Coframe ise her pull request'te 6,3 kat paralelleştirilmiş uçtan uca QA çalıştırdığını söylüyor.

Yakaladığını iddia ettiği hatalar

Site, her birinin tespit edildiği aşamayla birlikte anonimleştirilmiş örnekler listeliyor. Bunlar arasında bir tüketici fintech'inde feature branch üzerinde yakalanan, yeni cihaz iki adımlı doğrulama adımını sessizce atlayan bir login yönlendirme değişikliği; bir yemek teslimat pazar yerinde deploy'dan sekiz dakika önce işaretlenen, ödeme sayfasında kayıtlı kartların otomatik doldurulmasını engelleyen bir refactor; büyük bir yolcu paylaşım uygulamasında sürücü ETA'sını rezervasyon sonrası "hesaplanıyor"da takılı bırakan bir bağımlılık güncellemesi; ve büyük bir sürüm öncesinde tek bir günde bulunan on iki eski API sorunu sayılabilir.

Neden önemli

Uçtan uca testleme, araç zincirinin en sevilmeyen parçası olagelmiştir: yazması pahalı, hızla bayatlayan ve ekiplerin CI'a güvenmemesine yol açacak kadar flaky. Yapay zekâ coding agent'ları bu baskıyı artırıyor, çünkü değişiklik başına daha az insan incelemesiyle daha fazla kod daha hızlı çıkıyor. Momentic, doğrulamanın kendisinin agent'lı bir göreve dönüşeceğine bahis yapıyor: doğal dille yazılan, UI değiştikçe otomatik iyileştirilen ve değişikliği üreten aynı coding agent'lar tarafından tüketilen testler.

Yayımlanan toplamlar, doğruysa bir demodan çok gerçek bir benimsemeye işaret ediyor; ancak bunlar şirketin kendi rakamları ve pazarlama sitesindeki müşteri sözleriyle eşlik ediyor. Açık soru ölçekte güvenilirlik ve yapay zekâ destekli triage ile iyileştirmenin, ekiplerin merge ve deploy'lara bir agent'ın çıkış koduna göre kapı koymasına izin verecek kadar istikrarlı kalıp kalmayacağıdır.