Canlı AI ile kurulmuş sitelerin %61'i GPTBot gibi crawler'lara neredeyse boş HTML döndürüyor

dev.to'da yayımlanan bir test, AI uygulama kurucularıyla oluşturulmuş web sitelerinin çoğunun AI crawler'larına etkin biçimde görünmez olduğunu ortaya koydu. Araştırmacılar 20 Eylül 2026'da bu şekilde oluşturulmuş 120 siteyi, tarayıcı ve JavaScript çalıştırması olmadan tek bir düz HTTP isteğiyle çekti; GPTBot, ClaudeBot ve PerplexityBot'ın bir sayfayı nasıl aldığını taklit ettiler. Yanıt veren 104 siteden %61'i, neredeyse hiç okunabilir içerik içermeyen HTML döndürdü.

Test nasıl çalıştı

Georgi Kalchev tarafından kaleme alınan dev.to yazısına göre ekip, AI uygulama kurma araçlarıyla oluşturulmuş 120 web sitesini topladı ve her birini bir AI crawler'ın yapacağı şekilde istedi: tek bir düz HTTP isteği, headless tarayıcı yok, JavaScript yok. Bu ayrım önemli, çünkü web'i insan bir ziyaretçi böyle deneyimlemiyor. İnsanlar HTML'yi indiren, ardından script'leri indirip çalıştıran ve sonunda sayfayı çizen tarayıcılarla gelir. Çoğu AI crawler ilk adımda durur.

120 sitenin 104'ü isteğe yanıt verdi. Bunların 63'ünde ham HTML, 300 karakterden az görünür metin içeriyordu; araştırmacılar bunu etkin biçimde boş olarak değerlendirdi. Üç yüz karakter kabaca bir sayfa başlığı ile bir sloganın uzunluğudur; bir ürünü anlatmaya veya sitenin içeriğiyle ilgili bir soruyu yanıtlamaya hiç yaklaşmayan bir uzunluktur.

Geri kalan 16 site hiç yanıt vermedi; dolayısıyla %61'lik oran yalnızca örneklemdeki canlı kısmı tanımlıyor.

Crawler'lar neden boş bir sayfa görüyor

Olası açıklama client-side rendering. Pek çok AI uygulama kurucusu, başlangıç HTML'sinin ince bir kabuk olduğu — genellikle bir script etiketi ve boş bir root elementinden fazlası olmayan — ve gerçek içeriğin JavaScript çalıştıktan sonra tarayıcıda oluşturulduğu tek sayfalık uygulamalar üretiyor. İnsan ziyaretçi bitmiş bir site görür; JavaScript hiç çalıştırmayan bir crawler ise boş kabuğu görür.

dev.to özeti, yazarın tam veri setini, bir kontrol grubunu ve önerilen düzeltmeleri içerdiğini söylediği 402registry'deki daha uzun bir yazıya işaret ediyor. dev.to yazısının kendisi hangi AI kurucuların test edildiğini veya kontrol grubunun nasıl performans gösterdiğini belirtmiyor; dolayısıyla bu ayrıntılar, belirli bir araçla ilgili sonuç çıkarmadan önce orijinalde kontrol edilmeye değer.

Araştırma neyi ortaya koyuyor, neyi koymuyor

Bu, mütevazı bir örneklem üzerinde tek bir günde alınmış tek bir anlık görüntü ve 300 karakter eşiği, boşluğun resmi bir tanımı değil bir vekil ölçüttür. Bu, her AI uygulama kurucusunun crawler'a düşman çıktı ürettiğini kanıtlamaz ve yanıt vermeyen siteler rendering sorunları değil, çevrimdışı denemeler, süresi dolan trial'lar veya hosting arızaları olabilir.

Bu uyarılara rağmen temel bulgu somut ve bağımsız olarak doğrulanması kolay: Bu sitelerden birini düz bir HTTP client ile çekin ya da yalnızca sayfa kaynağına bakın ve ilk yanıtta anlamlı bir metnin gelip gelmediğine görün.

Neden önemli

Bir AI crawler boş bir sayfa alırsa, site insanların yeni ürünleri keşfetme biçimini giderek belirleyen sistemler tarafından anlaşılamaz, hatırlanamaz veya alıntılanamaz. GPTBot, ClaudeBot ve PerplexityBot'a görünmez olan bir site, AI destekli aramada ve yanıtlarda yoktur; bu da tam olarak bu AI ile kurulmuş sitelerin hedeflediği kitle, yani erken benimseyenler ve kurucular için büyüyen bir kanaldır.

Burada keskin bir ironi de var: Web siteleri üretmek için AI kullanan araçlar, AI sistemlerinin okuyamadığı sayfalar üretiyor. Kurucular sitenin tarayıcıda nasıl göründüğüne göre optimize ediyor ve düz bir HTTP isteğine ne söylediğini atlıyor.

Standart çareler web geliştirmede iyi biliniyor: server-side rendering, statik HTML'ye pre-render etme veya kritik içeriğin script'lerle enjekte edilmesi yerine ilk yanısta mevcut olmasını sağlama. AI uygulama kurucusuyla site yayınlayan herkes için 402registry testinden çıkarılacak ders, sitenin keşfedilebilir olduğunu varsaymadan önce ham HTML'yi kontrol etmektir.