ChatGPT Search ve Perplexity neden web sitelerini atlıyor: dört maddelik teknik denetim

Yapay zeka araması Google'dan farklı kurallarla çalışıyor

dev.to'da yayımlanan bir teknik denetime göre, konuşma temelli aramanın yaygınlaşması — ChatGPT Search, Google'ın AI Overviews'ü ve Perplexity — motorun on bağlantı yerine sentezlenmiş bir yanıt ve az sayıda atıf döndürdüğü bir sorgu sınıfı yarattı. Yazı, ChatGPT Search'ün atıfta bulunduğu web sitelerinin yüzde 70'ten fazlasının aynı sorgu için Google'ın ilk on sonucunda görünmediğini iddia eden, adı açıklanmayan arama ekosistemi verilerine dayanarak, yalnızca Googlebot için optimize edilmiş sitelerin yanıt motorlarına fiilen görünmez olabileceğini savunuyor. Yazar, her birinin bir çözümü bulunan dört teknik neden tespit ediyor.

Boş bir HTML kabuğu tarayıcılara okuyacak bir şey vermiyor

Yazıya göre ilk ve en yaygın sorun istemci tarafında render. Googlebot, headless Chromium içeren bir render hattını karşılayabilir ve JavaScript'i eninde sonunda çalıştırır. GPTBot, PerplexityBot ve ClaudeBot gibi yapay zeka tarayıcıları ise katı verim ve gecikme bütçeleri altında çalışır: ilk HTML'i indirir ve yoluna devam eder. Belge boş bir mount noktası ve bir bundle script'ten ibaretse, tarayıcı hiç metin çıkaramaz — içerik yok, atıf yok, görünürlük yok.

Önerilen çözüm, yüksek değerli materyalin — tanımlar, özellik dökümleri, fiyat tabloları — sunucu tarafında render, statik üretim veya React Server Components kullanılarak sunucudan teslim edilen HTML içinde yer almasını sağlamak.

Eğitim botlarını engellemek atıfları da engelleyebilir

İkinci tuzak, aceleyle yazılmış bir robots.txt dosyası. Yapay zeka kazıma ilk kez tartışmalı hale geldiğinde birçok ekip GPTBot ve CCBot için kapsamlı Disallow kuralları ekledi. Yazıya göre OpenAI tarayıcılarını amaca göre ayırıyor: GPTBot eğitim verisi toplarken, OAI-SearchBot ChatGPT Search içindeki canlı alma ve atıfları yürütüyor. Dolayısıyla kapsamlı bir engel, bir kullanıcı ürününüzü adıyla sorduğunda bile sayfalarınızın ChatGPT'nin yanıtlarına girmesini engelleyebilir.

Yazının önerdiği yapılandırma, genel bir izin kuralı ve bir sitemap referansının yanında OAI-SearchBot, PerplexityBot ve ClaudeBot'u açıkça izin veriyor. Bunu benimsemek bir politika kararı: bu, bazı yayıncıların bilinçli olarak dışladığı yapay zeka şirketlerine erişimi yeniden açıyor, karşılığında atıf kaynağı olma uygunluğu sağlıyor.

Cevap şeklinde içerik ve yapılandırılmış veri

Üçüncü bulgu, yazının bir Princeton çalışması da içerdiğini söylediği, üretken motor optimizasyonu araştırmalarına dayanıyor: dil modelleri sonuçları başta veren sayfaları tercih ediyor. Pratik tavsiye, doğrudan cevabı her başlığın altındaki ilk iki cümleye yerleştirmek, sonra derinlik eklemek. Somut sayılar da önemli — yazı, doğrulanabilir istatistik ve metriklerin çıkarma oranlarını yüzde 30 ila 40 artırabileceğini iddia ediyor. Yapılandırılmış veri de yardımcı oluyor: Article, FAQPage ve SoftwareApplication gibi JSON-LD şemaları, alma sistemlerine bir sayfanın gerçekte ne olduğu konusunda net semantik sinyaller veriyor.

Yeni bir alan kökü kuralı olarak llms.txt

Son madde llms.txt, alan kökünde sunulan bir markdown manifestosu. 1990'larda tarayıcılar için robots.txt'nin haline geldiği şeye benzer şekilde, bir sitenin veya projenin ne yaptığını düz metinle özetliyor ve temel dokümantasyonuna bağlantı veriyor; böylece bir agent, tam sayfa yüklerini arasında boğulmak yerine özleri tek geçişte tüketebiliyor. Yazıya göre bu kural, Anthropic ve Cursor dahil olmak üzere yapay zeka geliştirici araçları arasında yayıldı.

Kısa bir doğrulama turu

Denetim, dakikalar içinde çalıştırılabilen bir kontrol listesiyle kapanıyor: core value proposition'ı grep'lemek için curl ile ham HTML'i çekerek içeriğin JavaScript olmadan da mevcut olduğunu doğrulayın; OAI-SearchBot ve PerplexityBot'un 200 yanıtları aldığını ve engellenmediğini teyit edin; JSON-LD'yi Google'ın Rich Results aracında doğrulayın; ve bir llms.txt dosyası yayımlayın. Yazar ayrıca, her botun bir sayfayı nasıl algıladığını simüle eden ücretsiz bir tarama aracı olan SiteReadyForSi'yi tanıtıyor — ancak aynı kontroller elle de yapılabilir.

Neden önemli

Web'de yayın yapan herkes için bulunabilirlik, farklı teknik gereksinimlere sahip iki kanala bölünüyor. Bir site Google'da iyi sıralama alabilir ama konuşma temelli sorguları yanıtlayan sistemler için yine okunamaz olabilir; çünkü başarısızlık biçimleri — yalnızca istemci tarafında içerik, kapsamlı tarayıcı engelleri, yapılandırılmamış düz metin — normal bir tarayıcıda görünmez. Çözümler riskle kıyaslandığında ucuz: temel içeriği sunucu tarafında render edin, robots.txt'de arama tarayıcılarını eğitim tarayıcılarından ayırın, cevapların çıkarılabilir olması için sayfaları şekillendirin ve makine tarafından okunabilir bir manifesto yayımlayın. Yazıdaki spesifik rakamlar bağımsız olarak doğrulanmış ölçümler değil, yazarın iddiaları; ancak denetim adımlarının kendisi çalıştırılması мало maliyetli ve ya gerçek bir sorunu ortaya çıkarıyor ya da bir sorunu eliyor.