Benchmark: Yapay zeka ajanları aynı uygulamayı Hono+htmx ile 2,67 dolara, Angular ile 4,97 dolara inşa etti

Nolan Lawson, web topluluğunun genellikle hislerle tartıştığı bir soruya dolar rakamları koyan bir benchmark yayımladı: bir yapay zeka ajanı uygulamanızı yazdığında, seçtiğiniz framework maliyeti değiştiriyor mu? Claude'a aynı uygulamayı on iki JavaScript yığınında defalarca yaptırdıktan sonra cevabı evet — en pahalı seçenek, en ucuzun neredeyse iki katına geldi.

Test nasıl yapıldı

28 Ekim'de yayımlanan yazıya göre Lawson, PokéAPI üzerine kurulu kompakt ama önemsiz olmayan bir Pokémon uygulaması tasarladı: çeşitli oyunlardan türleri, hamleleri ve verileri gösteren, aranabilir ve filtrelenebilir bir yaratık listesi. Ardından bir sandbox içinde yüksek çabayla çalıştırılan Claude Opus 5.5'a, bunu belirli bir framework'ün veya meta-framework'ün en son sürümüyle inşa etmesini talimat verdi — düz JavaScript ve Hono+htmx ikilisinden Next.js, Nuxt, SvelteKit, Angular ve diğerlerine kadar.

Ajanların alıştırmayı oyunlaştırmasını engellemek için her build, ham DOM yerine erişilebilirlik ağacına dayalı bir uygunluk (conformance) test paketiyle denetlendi; bu ayrıca bir framework shadow DOM'a güvendiği için HTML yapısını dayatmaktan da kaçındı. Bir framework resmî bir MCP server veya agent skill sunuyorsa Lawson bunları sağladı; böylece zayıf eğitim verisi kapsamı framework kalitesiyle karıştırılmadı. Ajanlara uygunluk testleri verildi ama çıktılarının Lighthouse'ta puanlanacağı söylenmedi.

Her framework beş kez inşa edildi ve medyan üzerinden değerlendirildi; Angular istisna, çünkü iki denemede çalışan bir uygulama üretemedi ve üç deneme kaldı. Dolar rakamları Lawson'ın gerçekten ödediği tutar değil, Claude Code'un listelenen API fiyatları — o sırada ayda 100 dolarlık bir Max planı kullanıyordu.

Ajanların maliyeti

Build başına medyan maliyet, denemeler arasındaki aralıkla birlikte:

Framework	Medyan	Aralık
Hono+htmx	$2.67	$2.23–$3.19
Astro	$2.76	$2.16–$3.63
Nuxt	$2.82	$2.39–$4.25
Vanilla JS	$2.98	$2.24–$3.37
Next.js	$3.14	$2.58–$4.13
Qwik	$3.27	$2.35–$3.80
TanStack Start	$3.54	$3.11–$3.96
SolidStart	$3.79	$2.84–$4.81
React Router	$3.81	$2.82–$3.97
SvelteKit	$4.28	$3.59–$4.65
Gracile+Lit	$4.65	$3.92–$5.07
Angular	$4.97	$3.19–$6.82

Lawson tüm analizi maliyet, kalite ve bakımlılık çerçevesinde ele alıyor ve salt maliyet rakamları bile ciddi bir örtüşme gösteriyor: en ucuz React Router build'i (2,82 dolar), en pahalı Hono+htmx build'inden (3,19 dolar) daha ucuza geldi; medyanları arası fark yaklaşık bir dolar olsa da.

Farkları ne belirliyor

Lawson gürültünün büyük kısmını dil modellerinin rastgeleliğine bağlıyor — bir ajan ara sıra framework'le ilgisiz nedenlerle bir çıkmaza saplanıp token yakıyor — ve Lighthouse'ın kendisine, ki denemeler arasında Largest Contentful Paint için farklı öğeler seçebiliyor.

Üç yığın istikrarlı biçimde daha pahalıydı. SvelteKit ajanları her denemede v3 geçiş kılavuzunu okudu; Lawson bunun, modelin eğitim verisi için fazla yeni bir sürümü yansıttığından şüpheleniyor. Gracile ajanları framework'ü zar zor biliyordu ve deposunu klonlamak ya da node_modules içindeki derlenmiş kaynağı okumak zorunda kaldı. Angular'ın daha yüksek faturasının, yazdığına göre, daha büyük toplam kod boyutunu izlediğini belirtiyor.

Ajanların araç kullanımı düzensizdi. Nuxt'un MCP server'ı hiç kullanılmadı; TanStack Start ajanları beş denemenin yalnızca ikisinde skill dosyalarını bulabildi; Next.js ajanları bir skill dosyasını bir kez, bir AGENTS.md dosyasını iki kez okudu. Lawson bunu gerçekçi buluyor, çünkü az geliştirici ajanlarını resmî araçları kullanmaya zorluyor.

Yazı kısa sürede Hacker News'in ana sayfasına ulaştı.

Neden önemli

Mutlak rakamlar küçük ama arkalarındaki örüntü değil. Ajanlar daha fazla üretim kodu yazdıkça token tüketimi, bundle boyutu ve build süresinin yanı sıra bir framework'ün karşılaştırılabilir ve bütçelenebilir bir özelliği hâline geliyor — ve bu, onu anekdot yerine uygunluk testleri, tekrarlanan denemeler ve dürüst hata paylarıyla ölçen ender girişimlerden biri.

Veri, framework geliştiricilerine de yeni bir koz veriyor: taze eğitim verisi, sorunsuz bir yükseltme yolu ve keşfedilebilir bir MCP veya skill seti doğrudan daha ucuz build'lere dönüşüyor; sürüm çalkantısı veya bilinmezlikse bir vergi olarak ortaya çıkıyor. Ve Angular'ın beş denemeden ikisinde çalışan bir uygulama teslim edememesi, yalnızca fiyatın değil güvenilirliğin de yığına göre değiştiğinin bir hatırlatması. Lawson, içerik yoğun ve düşük etkileşimli tek bir uygulamanın SPA-MPA tartışmasını çözemeyeceğini açık söylülükle kabul ediyor — ama pek çok iddiayı başkalarının yeniden çalıştırabileceği rakamlarla değiştiriyor.