Anthropic deneyi: Yapay zekâ ile yeni bir kütüphane öğrenen geliştiriciler 17 puan daha düşük aldı

Deney neyi ölçtü

Anthropic ile bağlantılı rastgeleleştirilmiş bir deney, tanıdık olmayan bir kütüphane öğrenirken yapay zekâ asistanı kullanabilen geliştiricilerin sonraki sınavda, asistan olmadan çalışanlardan önemli ölçüde daha kötü performans gösterdiğini ortaya koydu. Çalışmanın dev.to'daki özetine göre, yapay zekâ destekli grup sınavda ortalama %50, elle kodlayan grup ise ortalama %67 aldı; bu 17 puanlık bir fark anlamına geliyor. Hız farkı yaklaşık iki dakikaydı ve istatistiksel olarak anlamlı değildi.

Dayanak makale olan Judy Hanwen Shen ve Alex Tamkin imzalı "How AI Impacts Skill Formation", 28 Ocak 2026'da arXiv'te yayımlandı. Anthropic'in eşlik eden yazısı, 52 katılımcının çoğunlukla junior yazılım mühendisi olduğunu belirtiyor. Hepsi bir yıldan uzun süredir haftalık Python yazmış, yapay zekâ kodlama araçlarına biraz aşinaydı ve async eşzamanlılık için bir Python kütüphanesi olan Trio'yu hiç kullanmamıştı.

Her katılımcı kısa bir ısınmanın ardından 35 dakika içinde iki Trio özelliği geliştirdi: diğer işler çalışırken her saniye yazdıran bir zamanlayıcı ve eksik kayıtları ele alan bir kayıt getirici. Yarıları görev sırasında yapay zekâ asistanına danışabildi; diğer yarısı danışamadı. Ardından herkes hata ayıklama, kod okuma ve kavramsal sorular yoluyla yedi Trio konusunu kapsayan, 27 puan değerinde 14 soruluk bir sınava girdi.\n

Fark nereden geldi

dev.to yazısı, makalenin ana istatistiklerini aktarıyor: sınav farkı 27 puanın 4,15'i, etki büyüklüğü Cohen's d = 0,738 ve p = 0,010. Zaman farkı ise p = 0,391 seviyesindeydi. Farkın en büyük bölümü hata ayıklama sorularında, en küçük bölümü ise kod okumadaydı.

Hata sayıları, dev.to yazarının öne çıkardığı detay. Ortanca değeriyle elle kodlayanlar görev sırasında üç hatayla karşılaştı; yapay zekâ kullanıcıları ise bir hatayla. Her iki görevi de hatasız tamamlayan on iki katılımcıdan yalnızca ikisi elle kodlamıştı. Başka bir deyişle, destekli grup daha kolay bir oturum geçirdi ve oradan daha az öğrenmeyle ayrıldı; makalenin yazarları, asıl öğretici olan şeyin bizzat hatalar olduğunu öne sürüyor.

Etkileşim örüntüleri önem taşıyordu

Makale, katılımcıları asistanı nasıl kullandıklarına göre de gruplandırdı; yaklaşık rakamlar Anthropic'in yazısında veriliyor. Yapay zekâya kodunu düzeltmesini ve doğrulamasını tekrar tekrar isteyen dört kişi, yaklaşık 31 dakikayla en yavaş gruptu ve yaklaşık %24 ile en düşük puanı aldı. Her şeyi baştan devreden dört kişi ise yaklaşık 19,5 dakikayla en hızlılardı ama yalnızca yaklaşık %39 aldı. Orta düzeyde yaslanan iki diğer örüntü %30 civarında kaldı.

Öteki uçta, yalnızca kavramsal sorular sorup kendi hatalarını kendileri düzelten yedi katılımcı yaklaşık 22 dakikada bitirdi ve yaklaşık %65 aldı. Küçük bir hibrit grup yaklaşık %68 aldı ve kod üretip ardından anlayana kadar soru sormaya devam eden iki kişi ortalama %86 civarında aldı; ancak bu kadar küçük bir alt grup kanıt değil, ipucu olarak okunmalı.

Sınırlamalar

dev.to özeti sınırlar konusunda titiz. Örneklem 52 kişiydi, her kolda 26 kişi vardı ve etkileşim örüntüsü alt grupları iki ile yedi kişi arasında değişiyordu; Anthropic, örüntü analizinin insanların asistanı kullanma biçimi ile öğrendikleri arasında nedensel bir bağ kurmadığını açıkça belirtiyor. Sınav, tek bir saatlik görevin hemen ardından geldi; oysa makale, gerçek becerinin aylar ile yıllar içinde oluştuğuna dikkat çekiyor. Dolayısıyla farkın zamanla daralıp daralmadığını ya da açılıp açılmadığını henüz kimse bilmiyor.

Asistanın kendisi, katılımcının kodunu görebilen bir sohbet panelindeki GPT-4o'ydu; agentic bir kodlama aracı değildi. Anthropic, Claude Code gibi agent'lardan daha büyük bir etki bekliyor ama bu burada test edilmedi. Junior çerçevesine rağmen makalenin denge tablosu 52 katılımcının 29'unu yedi yıl veya üzeri kodlama deneyimine sahip gösteriyor; ortak noktaları Trio'ya yeni olmalarıydı. Anthropic ayrıca, insanların zaten yapmayı bildiği görevlerde yüzde 80'e varan zaman tasarrufu gösteren önceki gözlemsel çalışmalara işaret ediyor; bu da riskin genel olarak yapay zekâ desteğine değil, özellikle tanıdık olmayan şeyleri öğrenmeye özgü olduğunu düşündürüyor.

Junior'lar için aşamalı bir yaklaşım

dev.to yazarının pratik önerisi, delege etmeyi kıdem yerine kod tabanının alanına göre aşamalandırmak. Birincisi, junior yeni her şeyin ilk çalışan sürümünü kod üretimi olmadan yazar; agent, hatalar veya tasarım hakkındaki kavramsal sorularla sınırlıdır. İkincisi, üretilmiş koda izin verilir ama yalnızca her satır açıklanana kadar soru sormaya devam etme koşuluyla; bu, çalışmadaki en yüksek puanlı örüntüyü yansıtıyor. Üçüncüsü, tam delege etme en sona bırakılır ve hata ayıklama, hem yoğun yapay zekâ kullanıcıları arasındaki en zayıf beceri hem de sınav farkının en geniş kısmı olduğu için devredilen son şeydir.

Neden önemli

Birçok ekip bugün yeni çalışanlara ilk günden itibaren kodlama agent'ları veriyor. Bu deney, bu kolaylığın bedelinin hız değil, kalıcılık olduğunu; özellikle hatalarla boğuşmanın normalde inşa ettiği hata ayıklama becerisi olduğunu öne sürüyor. Küçük örneklem ve hemen uygulanan sınavla bu konuda son söz değildir ama ucuz bir politikaya işaret ediyor: junior'lar agent'a soru sorabilsin, hataları kendileri bulmaya devam etsin.