· kaynak Hacker News – Front Page (native)
Gemini 4 Carbon'ın yavaş düzeltmelerinin kaynağı bilgi değil davranış, kernel.dev deneyi gösteriyor
Bir kernel.dev deneyinde Gemini 4 Carbon bir hatanın nedenini altı dakikada buldu ama kodu düzenlemek için 25 dakika daha bekledi; periyodik kontrol prompt'ları toplam süreyi 37 dakikadan 28 dakikaya indirdi.

Deneyin ölçtüğü şey
18 Kasım'da Hacker News'in ana sayfasına çıkan bir kernel.dev yazısı, iki uç kodlama modelini karşılaştıran bir hata ayıklama egzersizini anlatıyor: azami çaba ayarında çalıştırılan GPT-6 Astra ve yüksek ayarında çalıştırılan Gemini 4 Carbon. Yazar, her çalıştırmada iki noktayı izledi — modelin hatanın nedenine karar verdiği an ve hatayı düzeltmek için ilk kez kod yazdığı an.
Yazının öne çıkardığı örnek çalıştırmada her iki model de sorunu hızlıca teşhis etti. Astra nedeni bir dakikanın içinde buldu ve üç dakika sonra düzeltmeyi yazdı. Carbon nedeni yaklaşık altı dakikada buldu, sonra 25 dakika boyunca hiçbir kod üretmedi.
İki olası açıklama
Yazar bu farkı iki hipotezle çerçeveliyor. Birincisi bir bilgi sorunu: Carbon doğru nedene ulaştığından emin değildi ve emin olana kadar araştırmaya devam etti. İkincisi bir alışkanlık sorunu: Carbon biliyordu ama yine de devam etti, çünkü eğitimi doğru cevaplara ulaşmayı, yol boyunca atılan fazladan adımları cezalandırmaktan çok daha fazla ödüllendirmişti.
Bu ayrım, çarelerin farklı olduğu için önemli. Bir bilgi sorunu farklı bir model veya daha iyi bir bağlam gerektirir; bir alışkanlık sorunu ilke olarak modeli çalıştıran harness içinde çözülebilir.
Kontrol deneyi
İkisini ayırmak için yazar, denemelerden birini her beş turda aynı soruyu otomatik olarak enjekte eden değiştirilmiş bir harness'te yeniden çalıştırdı: "Düzeltmeyi yapmak için yeterli bilgiye sahip misin?" Bu dürtme hatanın kendisiyle ilgili hiçbir bilgi taşımıyor; yalnızca modeli harekete geçmeyi düşünmeye teşvik ediyor.
Etkisi ölçülebilirdi. Carbon görevi 37 dakika yerine 28 dakikada tamamladı ve nedeni belirtmek ile ilk düzenlemeyi yapmak arasındaki süre yaklaşık 25 dakikadan kabaca 10 dakikaya indi.
Sonucun ima ettikleri
Enjekte edilen soru modelin zaten erişimi olmayan hiçbir şey eklemediği için, yazı Carbon'ın yavaşlığının bildiklerinden değil davranışından kaynaklandığı sonucuna varıyor. Model doğru cevabı kullanmadan çok önce elinde tutuyor gibiydi ve periyodik bir hatırlatma onu harekete geçirmek için yeterliydi.
Bulguların net sınırları var. Başlık sayıları tek bir örnek denemeden geliyor, kontrol varyantı tam bir seri yerine tek bir denemenin yeniden çalıştırılmasıydı ve iki model farklı çaba ayarlarında çalıştığı için modeller arası karşılaştırma kontrollü değil, yalnızca açıklayıcı.
Neden önemli
Kodlama agent'ları için model seçen ekipler açısından bu yazı, başarı oranlarının maliyet denkleminin tamamı olmadığının bir hatırlatması. Doğru teşhis koyan ama yarım saat duraklayan bir model zaman, token ve para yakar — ve bu ek yük harness üzerinde ayarlanabilir olabilir; burada basit bir kontrol prompt'u model değiştirmeden dokuz dakika kazandırdı. Ayrıca bir eğitim sorusuna işaret ediyor: Aşırı doğrulama, doğruluğu verimliliğe göre ödüllendirmenin bir yan ürünüyse, model sağlayıcıları bunu doğrudan şekillendirebilir. Ve benchmark takipçileri için, teşhis ile ilk düzenleme arasındaki boşluğu ölçmek, düz "hatayı düzeltti mi" puanının tamamen gizleyeceği bir başarısızlık biçimini gün yüzüne çıkardı.
- #ai
- #llm-benchmarks
- #gemini
- #coding-agents
- #debugging