Anthropic'a göre Claude Code'un yüzde 90'ını Claude yazıyor; stabilite yedi katmanlı bir review sistemiyle sağlanıyor

Anthropic, komut satırı kodlama agent'ı Claude Code içindeki kodun yaklaşık yüzde 90'ının Claude tarafından yazıldığını açıkladı. Bu rakam, ekibin makine tarafından üretilen değişiklikleri nasıl review ettiğine dair bir açıklamayla birlikte geldi: Haziran ve Eylül arasında, merge edilen pull request sayısı iki katından fazla artarken revert'lar yüzde 40'tan fazla düştü. Yazı Hacker News'in zirvesine yerleşti; hem mühendislik detaylarını hem de topluluk tepkisini ele alan dev.to'da yayımlanan bir özet, konunun halka açık en net görünümü.

Katmanlı bir sistem olarak review

dev.to'daki çözümlemeye göre ekibin temel yaklaşım değişikliği, "bir insan bu diff'i okudu mu" sorusunu bırakıp "belirli bir hatayı hangi kontrol yakalardı" sorusunu sormaya başlamak. Review tek bir kapı gibi değil, sürekli işleyen bir süreç olarak çalışıyor; insanlar ise en fazla katma değer sağladıkları kararlara konumlandırılıyor.

Süreç yedi katmandan oluşuyor. Bir pull request açılmadan önce agent testleri, build ve linter'ları çalıştırıyor ve ikinci bir agent diff'i bağımsız olarak yeniden inceliyor. Ardından her PR için birkaç agent paralel olarak bug aradığı ve herhangi bir şey paylaşılmadan önce bir oylama mekanizması bulguları doğruladığı bir AI review yapılıyor; stil detayları filtreleniyor ve bulgular Important, Nit veya Pre-existing olarak sınıflandırılıyor. Ayrı bir güvenlik review'u, bulgular açık kaldığı sürece merge'leri engelliyor; ancak düzeltilmeleri veya yazılı bir gerekçeyle kapatılmaları halinde değil. Otomatik kontroller lint, tip kontrolü, platformlar arası testleri ve build'i kapsıyor; PR şablonu test notları ve bir rollback planı talep ediyor. İnsan onayı riske göre ölçekleniyor. Bir merge queue, değişiklik uygulanmış halde tüm test paketini main'e karşı yeniden çalıştırıyor; yeni davranış önce flag'lerin arkasında çalışanlara sunuluyor ve stable kanal en yeni kanalın gerisinden gidiyor. Son olarak, flag'ler hızlı rollback için deploy gerektirmeden değiştirilebiliyor, haftalık bir on-call rotasyonu production'ı izliyor ve her incident review'si soruyor: bu sorunu hangi katman yakalamalıydı?

Onay, bir classifier'ın belirlediği riske göre ölçekleniyor

Değişiklikler kademelendiriliyor: Dokümantasyon, metin, dahili özellikler ve yalnızca eklemeler içeren flag'li değişiklikler gibi düşük riskli işler, kontroller yeşilken insan onayı gerektirmiyor; caching, otomatik güncelleyici ve prompt'lar gibi hassas alanları da içeren orta riskli işler tek bir onay gerektiriyor; belirlenmiş hassas yollar için iki onay şart. Kademeler kadar guardrail'ler de önemli. Risk seviyesini bir classifier atıyor, çünkü yazarlar kendi risklerini küçümser; daha hafif yollar güvenilir yazarlara ayrılır, agent onayları asla bir insan onayı gereksinimini karşılamaz, bir agent'ı yönlendiren kişi gerekli bir reviewer olarak sayılır ve bir onay tek bir commit'i kapsar, bir sonraki push'ta süresi dolar.

Döngüye giren agent'lar ve ekibin bunları durdurma yolu

Yazar da reviewer da agent olduğunda sonsuza dek tartışabilirler. Bir CLI pull request'inin gece boyunca reportedly 50 turdan fazla döndüğü ve tekrarlanan bulguların yüzde 59'unun yeni bug'lar ortaya koymaktan ziyade reviewer'ın orijinal turu yeniden gündeme getirmesinden kaynaklandığı ekibin tespit ettiği durumlar arasında. Çareler: üç turdan sonra reviewer, yazardan yaklaşımı yeniden düşünmesini istemeli; sonraki turlar yalnızca yeni diff'i incelemeli; bug sınıfları işaretlenmeli ki her örneği düzeltilsin; ve hiçbir bulgu iki kez paylaşılamaz. Ekibin bildirdiği rakamlara göre, tek bir review-ve-düzelt döngüsünden sonra geçen PR'lerin oranı yüzde 65'ten yüzde 78'e çıktı, beş veya daha fazla tur gerekenler yüzde 8,9'dan yüzde 1,5'a düştü ve geçmek için gereken ortalama review sayısı 2,08'den 1,32'ye indi.

Reviewer bir model gibi değerlendiriliyor

Ekip ayrıca geçmiş incident'lardan ve revert'lardan bir değerlendirme seti oluşturdu; mühendisler her gerçek bug'ı ve konumunu doğruladı ve reviewer'da yapılan her değişiklik — prompt, araçlar veya model — günlük olarak bu sete karşı puanlanıyor. Yorum sonuçları düzeltildi, hatalı bulunduğu için kapatıldı, kasıtlı olarak işaretlendi veya yok sayıldı olarak takip ediliyor ve reviewer, false positive'leri ölçmek için bilinen temiz PR'ler üzerinde çalıştırılıyor. Etkili bir biçimde, AI reviewer bir bolt-on bot gibi değil, test seti olan bir classifier gibi yönetiliyor.

Eleştirilerin yoğunlaştığı yerler

dev.to yazısında aktarıldığı üzere Hacker News başlığı büyük ölçüde şüpheciydi. Bir güvenlik bulgusu kısa bir yazılı gerekçeyle kapatılabiliyor ve bir yorumcu, kritik bir bulgunun kapatılmasının uygulama güvenliği review'sunu atlamaması gerektiğini savundu; açık kaynak claude-code-security-review action'ın README'si de prompt injection'a karşı sertleştirilmediğini belirtiyor ki bu, onu bir saldırganın konuşarak devre dışı bırakabileceği bir kontrol haline getiriyor. Diğerleri metrikleri sorguladı; daha az revert'un daha yüksek kalite anlamına gelmediğini ve sürekli değişen arayüz ile uzun ömürlü bug'ları karşı kanıt olarak gösterdi. Sahiplik modeli ayrıca hızlı telemetriyle birlikte küçük, flag'li, geri alınabilir değişikliklere dayanıyor — bu, Claude Code'un kurulumuna özgü bir özellik ve daha yavaş release döngülerindeki ekipler bunu olduğu gibi kopyalayamaz. Birkaç okuyucu da satır satır insan review'sunun hâlâ revert oranlarının asla göstermediği tekrarlanmış kodu ve mimari şişkinliği yakaladığını savundu.

Neden önemli

Manşetteki rakam, AI destekli geliştirme için bir dönüm noktası: yaygın olarak kullanılan bir kodlama aracı artık büyük ölçüde içinde barındırdığı model tarafından yazılıyor. Ama aktarılabilir olan kısmı çevresindeki sistem. Anthropic'in süreci review'u katmanlı bir altyapı olarak ele alıyor — otomatik kontroller, paralel AI review, riske göre kademelendirilmiş insan onayı, flag'li rollout'lar ve değerlendirilen bir reviewer — tek bir insanın diff okuması olarak değil ve parçalarının çoğu tek tek benimsenmesi ucuz. Eleştiriler de aynı şekilde taşınıyor: güvenlik kapılarındaki kapatma yolları, prompt injection'a açık olmak ve yavaş mimari çürümeye kör metrikler, bu stack'i kopyalayacak her ekibin plan yapması gereken başarısızlık modları.