41 günlük crawl testinde yalnızca JavaScript ile çalışan navigasyon, sayfaları GPTBot ve ClaudeBot'tan gizledi

Kontrollü bir 41 günlük crawl deneyinde GPTBot ve ClaudeBot, yalnızca JavaScript ile enjekte edilen linklerden erişilebilen tek bir sayfayı bile keşfedemedi; buna karşılık her iki crawler da düz HTML anchor'larla linklenen bölümlerdeki tüm sayfalara ulaştı. Vinicius Stanula tarafından yürütülen ve Search Engine Land tarafından raporlanan test, client-side navigasyonun büyük AI crawler'larını bir sitenin büyük bölümlerinin dışında kilitleyebildiğini gösteriyor.

Deney nasıl kuruldu

Raporun dev.to'daki yazısına göre test sitesi, 21 üst düzey bölüme yayılmış yaklaşık 2.400 sayfa içeriyordu. Navigasyon tek değişken olarak izole edildi: sitemap'ler, breadcrumb'lar ve diğer tüm keşif yolları devre dışı bırakıldı, böylece bir bot sayfaları yalnızca sayfadaki linkleri takip ederek bulabiliyordu. JavaScript grubundaki içeriğe ulaşmak için crawler'ın üst sayfayı render etmesi ve script'lerini işlemesi gerekiyordu.

Test altındaki hiyerarşi ikiye bölünmüştü. On bir bölüm normal HTML linkler kullanıyordu ve 748 sayfayı kapsıyordu; on bölüm JavaScript ile enjekte edilen linkler kullanıyordu ve 293 sayfayı kapsıyordu.

Crawl sonuçları

İlk fazda iki grup arasındaki uçurum çarpıcıydı:

Crawler	HTML grubu (748 sayfa)	JavaScript grubu (293 sayfa)
GPTBot	748 sayfa	0 sayfa
ClaudeBot	748 sayfa	0 sayfa
Amazonbot	735 sayfa	0 sayfa
Meta External Agent	537 sayfa	0 sayfa
GoogleOther	495 sayfa (%66)	142 sayfa (%48)
Bingbot	282 sayfa	3 sayfa
Googlebot	35 sayfa (%5)	7 sayfa (%2)

GPTBot ve ClaudeBot'un her biri 748 HTML linkli sayfanın tamamını taradı ve JavaScript linkli hiçbir sayfaya girmedi. Amazonbot ve Meta External Agent da JavaScript aracılığıyla hiçbir şey bulamadı; rapor edilen sonuçlarda OAI-SearchBot, ChatGPT-User ve PerplexityBot da yalnızca JavaScript içeren hiyerarşide hiç ilerleme kaydedemedi.

Googlebot, deneydeki JavaScript'i render eden ve o hiyerarşide daha derine inen tek crawler'dı, ancak erişimi her iki tarafta da sınırlıydı. GoogleOther crawler etiketi oldukça daha geniş kapsam gösterdi — HTML grubunun yüzde 66'sı ve JavaScript grubunun yüzde 48'i — ancak rapor, bir URL'yi taramanın onu indekslemek veya bir arama sonucunda kullanmakla aynı şey olmadığı konusunda uyarıyor.

Deney yalnızca keşfi ve crawl erişimini ölçtü; sıralamaları, trafiği veya nihai indekse dahil edilme durumunu değil.

Linklerin dönüştürülmesi keşfi geri getirdi

İkinci bir fazda JavaScript linkleri standart HTML linklere dönüştürüldü ve birkaç crawler hızlı tepki verdi. GPTBot, dönüştürülen bölümleri yaklaşık 48 saat içinde yeniden taradı ve yaklaşık 250 yeni sayfa aldı. Bingbot yaklaşık 212, Meta External Agent ise yaklaşık 41 sayfa keşfetti.

Googlebot'un toparlanması çok daha yavaştı: dönüştürmeden sonraki 41. güne kadar bu bölümlerde yalnızca bir sayfayı yeniden keşfetmişti. Bu karşıtlık, keşfedilebilirliği düzeltmenin her sistemin derhal geri döneceğini garanti etmediğinin yararlı bir hatırlatıcısı.

Riski nasıl azaltabilirsiniz

Raporun önerisi JavaScript'ten vazgeçmek değil, onu önemli iç yolları açığa çıkarma tek yolu olmaktan çıkarmaktır. Önerileri şunlardır:

• Temel iç navigasyon için href nitelikli standart anchor linkler kullanın.
• Kritik navigasyon linklerinin sunucu tarafından gönderilen ham HTML içinde mevcut olduğundan emin olun.
• Bir framework navigasyonu sayfa yüklendikten sonra enjekte ediyorsa server-side rendering veya prerendering kullanın.
• JavaScript'i etkileşim ve geliştirme için kullanın, tek keşif mekanizması olarak değil.
• Önemli sayfalara birden fazla makul keşif yolu verin, örneğin HTML navigasyon artı XML sitemap'ler.

Yazı, bir JavaScript framework'üne geçmiş, menüsünü yeniden tasarlamış veya headless bir içerik yapısına geçmiş siteleri özellikle riskli olarak işaretliyor; çünkü tıklanabilir öğeler sessizce taranabilir anchor'ların yerini alabilir ve görünmez bir kategori ve destek içeriği katmanı yaratabilir. Ayrıca, render edilmiş tarayıcıda görüne değil sunucu yanıtını denetlemeyi tavsiye ediyor: teslim edilen HTML'de temel navigasyon URL'leri eksikse, sitede birçok AI crawler'ın aşamayacağı bir keşfedilebilirlik bağımlılığı vardır.

Neden önemli

İç linkler bir keşif mekanizmasıdır, yalnızca bir kullanıcı arayüzü tercihi değil. Bir link sayfanın ilk HTML'inde yoksa, GPTBot ve ClaudeBot gibi crawler'lar içerik kalitesine bakılmaksızın hedef sayfaya hiçbir zaman ulaşamayabilir — ve bu sistemlerin hiç taramadığı sayfalar AI tarafından üretilen yanıtlarda görünebilir. AI asistanları bilgiye giden yaygın bir yol haline geldikçe, tarayıcılarda çalışan ama ham HTML'de çalışmayan bir navigasyon katmanı, sitenin bütün bölümlerini fiilen görünmez bırakabilir. Çare ucuz ve iyi bilinir: en önemli iç yolları statik HTML anchor'lar olarak tutun ve JavaScript'i bu temelin üzerine bir geliştirme olarak değerlendirin.