deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak dev.to (home feed)

Sunucu kayıtları, OpenAI'nin tarayıcılarının artık JavaScript çalıştırdığına ve sayfaları render ettiğine işaret ediyor

Bir geliştiricinin sunucu kayıtları, OpenAI'nin OAI-SearchBot ve GPTBot'ının 25 Eylül civarında JavaScript çalıştırmaya ve sayfaları render etmeye başladığını gösteriyor; bu da yapay zeka tarayıcılarının yalnızca statik HTML çektiği varsayımını altüst ediyor.

Sunucu kayıtları, OpenAI'nin tarayıcılarının artık JavaScript çalıştırdığına ve sayfaları render ettiğine işaret ediyor

Ne değişti

Birkaç Japon sitesi işleten bir geliştirici, OpenAI'nin tarayıcılarının 25 Eylül 2026, Japonya saatiyle, düz HTML çekmekten aniden JavaScript çalıştırmaya ve sayfaları tamamen render etmeye geçtiğini bildiriyor. Next.js tabanlı freelance pazaryeri atsoho.com'un işletmecisi, dev.to'da yazdığı yazıda bu değişimin sunucu kayıtlarında görünür olduğunu söylüyor: Arama amacıyla tarama yapan OAI-SearchBot, Japonya saatiyle sabah 4'te yoğunlaşmış, eğitim verisi için kullanılan GPTBot ise aynı gün öğlen onu izlemiş.

Bu gözlem kabul gören bilgilerle çelişiyor. Aralık 2024 tarihli bir Vercel ve MERJ çalışması, OpenAI'nin üç botunun hiçbirinin JavaScript çalıştırmadığını ortaya koymuştu. Yazar, OpenAI'den herhangi bir duyuru bulamadığını ve sahte user agent'ları elemek için her isteği OpenAI'nin yayımladığı IP aralıklarıyla doğruladığını belirtiyor.

Rakamlar

atsoho.com'da OAI-SearchBot istekleri 22 Eylül'de 1.253 iken 25 Eylül'de 41.444'e çıktı. GPTBot, 22 Eylül'de 83 istekten 28 Eylül'e kadar 152.009 isteğe yükseldi; eskiden tek IP kullanırken artık günde 36'dan 131'e kadar farklı IP'den geliyor.

Ancak ham istek sayıları etkinliği olduğundan büyük gösteriyor. dev.to yazısına göre yeni trafiğin çoğu Next.js link prefetch istekleriydi — yani yalnızca bir sayfa render edildikten ve JavaScript'i çalıştıktan sonra görünen ?_rsc= query string'i taşıyan istekler. 28 Eylül'de OAI-SearchBot isteklerinin yüzde 84'ü, GPTBot isteklerinin yüzde 97'si prefetch'ti.

Render etmeyi ölçmek için farklı referring sayfalarını saymak daha iyi bir gösterge. Bu ölçütle OAI-SearchBot'ın render ettiği sayfalar 18 Eylül'de 56 iken 25 Eylül'de 861'e çıkarak kabaca on kat arttı; GPTBot'ın render ettiği sayfalar ise 17'den 4.000'in üzerine çıktı — yazarın yüze katı çok diye nitelediği bir artış.

Depolanmış HTML'den render

İlginç bir ayrıntı: GPTBot'ın 28 Eylül'de render ettiği 4.309 sayfadan yalnızca yüzde 28'i o gün origin sunucusundan çekilmişti ve sitenin HTML'i CDN'inde önbelleğe alınmıyor. Yazarın yorumuna göre OpenAI, daha önce depoladığı HTML'i kendi headless tarayıcısında yeniden render ediyor ve origin'e ulaşan yalnızca render sırasında tetiklenen prefetch istekleri oluyor. Bu, OpenAI'nin botları arasında tarama sonuçlarını paylaşarak yinelenen taramayı önlediğine dair belgelenmiş politikasıyla da uyumlu.

Görünüşe göre her yerde değil

Aynı sunucudaki dört Next.js sitesinin tamamında, farklı Next.js sürümleri ve dağıtım yapılandırmaları kullanılmasına ve yazarın o hafta hiçbir şeyi değiştirmemesine rağmen OAI-SearchBot etkinliği 24 ve 25 Eylül'de 5 ila 15 kat arttı. Bununla birlikte yazar, Cloudflare Radar'ın Eylül boyunca OpenAI'nin yapay zeka bot trafiğindeki payını düz gösterdiğini, yani render etmenin ağ geneli değil seçici olarak etkinleştirildiğini belirtiyor.

Statik siteler farklı şekilde etkileniyor. Next.js kullanmayan bir sitede OAI-SearchBot 25 Eylül'de görselleri ve CSS'yi çekmeye başladı — render etmenin görünümü tam olarak bu — ancak statik sayfalar prefetch tetiklemediği için istek sayıları neredeyse değişmedi.

Olası bir trafik etkisi

Aynı dönemde atsoho.com'un iş sayfalarına ChatGPT'den gelen ziyaretler arttı ve günlük kayıtlar yaklaşık 1,7 kat yükseldi. ChatGPT'den gelen kişi sayısı değişmedi; varış sayfaları değişti ve blog yazılarından iş sayfalarına kaydı. Yazar bunun nedensellik değil, yalnızca korelasyon olduğu uyarısında bulunuyor.

Pratik çıkarımlar

Yazıda ChatGPT'de görünmek isteyen sitelere verilen tavsiyeler şöyle: robots.txt içinde OAI-SearchBot'a izin verin ve WAF ya da bot koruma kurallarının OpenAI'nin IP'lerini engellemediğini kontrol edin; nitekim yazarın kendi sunucusu değişimden önceki günlerde 403 döndürüyordu. OpenAI'nin yayımladığı IP listelerini güncel tutun, çünkü gptbot. ve chatgpt-user. o hafta değişti. Gövde metni, başlıklar, fiyatlar ve tarihler gibi kilit içeriği server rendering yoluyla ilk HTML'e koyun ve okunmasını istediğiniz sayfalara iç bağlantılar kurun; render edilen sayfalar bağlantılı sayfaları prefetch'ler aracılığıyla görünür kılar.

Özellikle, yazar Next.js prefetch isteklerinin engellenmesine karşı çıkıyor: Next.js'in yerleşik bot algılama listesinde OpenAI'nin botları yok ve bir prefetch yanıtı bağlantılı sayfanın içeriğini taşıdığından, render yapan bir tarayıcının siteyi okuma yollarından birini oluşturuyor. Yapılandırılmış veride tazeliği işaretlemek, ChatGPT'nin kullanıcıları kapatılmış iş ilanları gibi bayat sayfalara göndermesini önlemeye yardımcı oluyor. Yazar ayrıca OpenAI'nin botlarının yalnızca birkaç günde bir okuduğu llms.txt'nin ChatGPT'nin bir siteyi anıp anmayacağını belirlemediği izleniminde olduğunu ekliyor.

Neden önemli

Doğrulanırsa, render etme yapay zeka görünürlüğünün mekaniklerini değiştirir. İçeriği yalnızca client tarafı JavaScript ile yüklenen siteler şu ana dek OpenAI'nin tarayıcılarına fiilen görünmezdi ve bu varsayıma dayanan bir yıllık rehberliğin yeniden gözden geçirilmesi gerekiyor. Server tarafında render edilen, iyi bağlanmış ve makine tarafından okunabilir tazelik sinyalleri taşıyan sayfalar daha önemli hale gelirken, prefetch'in yarattığı çoğaltma, birkaç bin render edilmiş sayfanın barındırma yapan site için günde yüz binin üzerinde isteğe dönüşebileceği anlamına geliyor. OpenAI hiçbir şey duyurmadı, bu yüzden kendi kayıtlarını izleyen işletmeciler şimdilik birincil kanıt konumunda.

  • #openai
  • #web-crawlers
  • #javascript
  • #seo
  • #next-js
  • #chatgpt

İlgili yazılar