Anthropic'in Claude Code anketi kullanım ve PR sayısının arttığını, teslim metriklerinin ise sabit kaldığını gösteriyor

Anket ne gösterdi

Anthropic kendi mühendislerinden 132'sine Claude Code kullanımlarını sordu ve yanıtlar ilk bakışta bir başarı hikâyesine benziyor. dev.to analizinde aktarılan rakamlara göre günde birleştirilen pull request sayısı yüzde 67 arttı ve aracı her gün kullanan mühendislerin oranı yüzde 28'den yüzde 59'a çıktı. Mühendisler kendi verimlilik kazançlarını yüzde 20 ile 50 arasında bir yerde konumlandırıyor.

Sonra biri teslim panosuna baktı. Kurum düzeyinde teslim metrikleri buna karşılık gelen hiçbir hareket göstermedi.

Bu boşluk hikâyenin özü: bir araç sürekli kullanımda olabilir, kullananlar tarafından sevilebilir ve yine de bir işletmenin gerçekten üzerinde koştuğu sayılarda hiçbir iz bırakmayabilir.

Tek bir şirketin çok ötesine uzanan bir boşluk

d.to yazısı Anthropic veri noktasını daha geniş bir ölçüm sorununun giriş kapısı olarak ele alıyor. Orada atıf yapılan McKinsey araştırması, liderlerin yalnızca yüzde 30'unun yapay zekânın boşalttığı zamanın gerçekte nereye gittiğini açıklayabildiğini; kalan yüzde 70'inin bunu yapamadığını buldu. Diğer yönden sorulduğunda Gartner'ın 2025 anketi, yapay zekâ araçlarından önemli değer rapor eden liderlerin payını yüzde 22 olarak belirledi — dev.to'nun belirttiğine göre bu rakam, McKinsey, Deloitte ve ServiceNow'un soruyu kendi yöntemleriyle ölçtüğünde ulaştıkları sonuçla aynı yerde duruyor.

Kullanım ve token harcaması girdidir, getiri değil

ROI sorusunun cevabının yerine routinely iki sayı ikame edilir ve ikisi de uygun değildir. Benimseme, aracı kimsenin kullanıp kullanmadığını gösterir — yararlı bir öncü gösterge, ama ölçülmüş bir sonuç olmaksızın yüksek benimseme faaliyettir, değer değil. Token harcaması ise bir maliyet rakamıdır: hesabın maliyet tarafına aittir ve yakından takip edilmesi, ortaya çıkan işin bu değere sahip olup olmadığı konusunda hiçbir şey söylemez. İkisi de bir panodan kolayca çekilebilir; raporlanmalarının nedeni de tam olarak budur.

ROI rakamlarının şişirilmesinin iki yolu

İlk şişirme, yumuşak saatlerin sert para olarak sunulmasıdır. Standart iş gerekçesi, kişi başına tasarruf edilen saatleri o kişinin saatlik maliyetiyle çarpar ve toplamı tasarruf olarak raporlar. Saatler çoğu zaman gerçektir; dolarlar genellikle değildir, çünkü bütçe değişmemiştir. Kimse işten çıkarılmamış, hiçbir yüklenici bırakılmamış, hiçbir bütçe kalemi düşmemiştir. Dev.to'daki argümana göre boşaltılan saatler ancak zaman değer üreten işe yeniden yönlendirildiğinde, planlanan bir işe alımından vazgeçildiğinde veya aynı personel şirketin sattığı bir şeyden daha fazlasını ürettiğinde gerçek paraya dönüşür. Önerilen düzeltme basit: iddia edilen her doları sert ya da yumuşak olarak etiketleyin ve ikisini ayrı raporlayın. Toplam küçülür ve çok daha tartışmaya kapalı hale gelir.

İkinci şişirme, takvim süresini emek süresine dönüştürmektir. Eskiden üç hafta süren ve artık bir hafta süren bir özellik bir mühendis ücretiyle dolarize edilir; ama o orijinal üç hafta muhtemelen kuyruk süresi, inceleme bekleme süreleri ve tamamlanmamış bağımlılıklar içeriyordu. Döngü süresi ile emek süresi farklı şeylerdir ve takvim aralığını saatlik ücretle fiyatlandırmak, kimsenin yapmadığı bir iş icat eder.

Yazı ayrıca öz-bildirime dayalı hız rakamlarına hiç güvenilmemesi konusunda uyarıyor. METR, aynı geliştiricileri yapay zekâ desteğiyle ve desteksiz zamanlayan kontrollü bir çalışmada, öz-bildirimle bildirilen yüzde 20'lik kazançla karşılaştırında yüzde 19'luk bir yavaşlama ölçtü. Geliştiriciler daha hızlı olduklarından emindi; kronometre aynı fikirde değildi.

İncelemeden sağ çıkacak bir rakam inşa etmek

Şişirmeler ayıklandığında geriye iki mekanizma kalır ve her birinin kendi dönüşüm yolu vardır. Hızlanma — mevcut işi daha kısa sürede yapmak — tasarruf edilen saatler ile saatlik maliyetin çarpımı üzerinden dönüşür, sonra da yeniden iş çıkarma düşülür; çünkü bir kişinin yeniden yapmak zorunda kaldığı çıktı, göründüğü zamanı hiçbir zaman tasarruf etmemiştir. Önlenmiş iş — bir destek talebinin bilgi tabanı tarafından çözülmesi gibi tamamen ortadan kalkan bir görev — ücret oranı yerine tek bir etkileşimin tam maliyeti üzerinden dönüşür. Dev.to açıkça müşteri verisi olmayan örnek bir aritmetik sunuyor: ayda 20.000 üzerinden işleyen ve 2.500 talebe yayılan bir destek sürecinde, önlenen her talep 8 dolar değerindedir; genel giderler ve araç maliyetleri zaten dahildir.

Payda, tam maliyet tabanını gerektirir: aracın ömrüne yayılan amorti edilmiş yapım maliyeti, token harcaması, altyapı, bakım ve çıktının insan tarafından incelenmesi. Gereken tek disiplin çift sayımdan kaçınmaktır; böylece aynı tasarruf edilmiş dolar veya aynı token maliyeti iki kez sayılmaz.

Neden önemli

Anthropic veri noktası ekstra ağırlık taşıyor, çünkü bunu raporlayan satıcının kendi mühendislik organizasyonu. Yoğun kullanım, yüksek memnuniyet ve yüzde 50'ye varan öz-bildirimli kazançların düz teslim metrikleriyle bir arada var olması, duygu ve benimsemenin getiri kanıtı olmadığının son zamanlardaki en net göstergesidir. Öz-değerlendirilen hızın ölçülen hızın tersine gidebileceğine dair METR bulgusuyla birleştiğinde, yapay zekâ iş gerekçesi oluşturan herkes için ders, görüş sormak yerine sonuçları ölçmekle aletlendirmektir: değerlendirmeye önceden karar verin — değer hızlanma olarak mı yoksa önlenmiş iş olarak mı geliyor — eşleşen dönüşümü uygulayın, yeniden işi ve tam maliyetleri düşün ve hiçbir bütçe kalemine dokunmamış her saat-tasarrufu-çarpı-oran rakamını yumuşak olarak değerlendirin.