En çok AI atıfı alan siteler llms.txt'i atlatırken, 30 büyük site denetiminde yalnızca biri GPTBot'u engelliyor

Neler test edildi

dongdongdev takma adıyla yazan bir geliştiricinin dev.to'da yayımladığı uygulamalı bir denetim, yaygın bir kanıyı test etmeyi amaçladı: web'in AI tarayıcılarını dışarıda bıraktığı fikri. Viral robots.txt kara listeleri ve Cloudflare'in yaygınlaştırdığı türden varsayılan olarak açık AI engelleme fonuna karşı yazar, verileri 11 Kasım 2026'da toplayarak 30 tanınmış alan adını doğrudan kontrol etti.

Yöntem bilinçli olarak basit ve curl ile tekrarlanabilir: her sitenin robots.txt dosyasını çekmek ve OpenAI'nin GPTBot, Anthropic'in ClaudeBot, Perplexity'nin PerplexityBot ya da Common Crawl'ın CCBot tarayıcılarını açıkça engelleyip engellemediğini not etmek; llms.txt istemek ve geçerli bir yanıt dönüp dönmediğini kaydetmek; sitemap.xml dosyasını doğrulamak; ve ana sayfada JSON-LD yapılandırılmış veri olup olmadığını kontrol etmek. Tüm istekler sıradan bir tarayıcı user agent'ı kullanıldı.

Örneklem iki gruba ayrıldı, her biri 15 site. A grubu AI asistanlarının yoğun olarak atıf yaptığı siteleri kapsıyor: Wikipedia, GitHub, Stack Overflow, MDN, Python.org, Kubernetes, Stripe, AWS belgeleri, Microsoft Learn ile Go ve Rust siteleri. B grubu ise ticari SaaS sitelerinden oluşuyor: Notion, Linear, Atlassian, Salesforce, Zoho, Wix, Typeform, Calendly, Loom, Miro, Basecamp, Zendesk ve GitLab bunlardan bazıları.

Açık tarayıcı engelleri nadir

30 sitenin tamamında yalnızca bir site — Loom — GPTBot'u robots.txt içinde açıkça engelliyor. Örneklemdeki hiçbir site ClaudeBot, PerplexityBot veya CCBot'u engellemiyor. Yazara göre kapatma hikâyesi web'in kenar bölgelerinde, bazı haber yayıncıları ve forumlar arasında gerçek olabilir; ancak AI atıflarına damgasını vuran alan adlarında dört tarayıcıdan hiçbiri geri çevrilmiyor.

En çok atıf alan siteler AI-hazır sinyallerde geride

Daha keskin sonuç, iki grubun makine okunabilirliği açısından karşılaştırılmasından geliyor. Son iki yılda "AI görünürlüğüne" yatırım yapan ticari SaaS siteleri teknik temellerde açıkça önde, buna karşılık yoğun atıf alan siteler geride kalıyor:

• llms.txt mevcut: 15 SaaS sitesinin 9'unda (%60), buna karşılık atıf yoğun 15 sitenin 6'sında (%40)
• Ana sayfa JSON-LD: 15'in 11'inde (%73), buna karşılık 15'in 4'ünde (%27)
• Geçerli sitemap.xml: 15'in 12'sine karşı 15'in 4'ü

Yazıya göre Wikipedia ve Stack Overflow hiç llms.txt yayımlamıyor; geliştirici belgeleri sitelerinin çoğunun ana sayfasında yapılandırılmış veri bulunmuyor. Yazarın sivri sorusu şu: Eğer llms.txt ve schema işaretlemesi atıfları belirliyorsa, yazıda AI yanıtlarında en çok atıf alan alan adı olarak tanımlanan Wikipedia ancak ucuza kurtulurdu.

Yazarın yorumu: güven başka yerde kazanılıyor

Öne sürülen açıklama, atıfların site içi yapılandırmadan çok üçüncü taraf itibarıyla belirlendiği. Modeller Wikipedia'yı, dış dünyadaki muazzam sayıda referansın ona kefil olması nedeniyle; GitHub ve Stack Overflow'yu ise geliştiricilerin web'in geneline sürekli bağlantı verip alıntılaması nedeniyle atıf yapıyor. Argümana göre llms.txt ve yapılandırılmış veri bir siteyi ayrıştırmayı kolaylaştırıyor; ama kendi alan adınızdaki hiçbir işaretleme, harici tartışmanın yokluğunu telafi edemiyor.

Yazı ayrıca aynı yazarın daha önceki bir deneyine işaret ediyor: 200 satın alma niyetli prompt üzerinden beş modelden yaklaşık 1.400 atıf olayı kaydedilmişti. O deney de aynı yöne işaret ediyordu: çıkarılabilir sayfalar ve tutarlı varlık adlandırması yardımcı oluyordu, ama yalnızca bir marka modellerin güvendiği üçüncü taraf kaynaklarda zaten yer alıyorsa.

Tartışılası uyarılar

Denetim küçük ve gayri resmi; ayrıca açıklanan politikayı değil uygulamasını ölçüyor. robots.txt tavsiye niteliğindedir; dolayısıyla bir site, dosyada o tarayıcıyı hiç anmadan, tarayıcının gerçek user agent'ına hata yanıtları döndürebilir; GPTBot'un kendi user agent'ıyla yapılan aynı istekler farklı bir hikâye anlatabilirdi. Örneklem rastgele değil, seçilmiş ve tek bir günü yansıtıyor. Yazar ayrıca Wikipedia ve GitHub'ın bazı otomatik robots.txt isteklerine hata döndürdüğünü belirtiyor — bu iki sitenin tarayıcı izinleri izin verici olarak kamuya açık biçimde belgelenmiş durumda ve ikisi de tahmin edilmek yerine llms.txt yüzdelerinin dışında bırakılmış. Son olarak, yazar aynı kontroller üzerine kurulu bir AI görünürlüğü denetim aracı satıyor; okurlar bunu sunulan tavsiyeye karşı tartmak isteyebilir.

Neden önemli

Yazı, genellikle birlikte dolaşan iki varsayıma yararlı bir düzeltme: büyük sitelerin AI tarayıcılarını sessizce dışarıda bıraktığı ve llms.txt ile schema işaretlemesi benimsenerek atıflardan AI payı kazanılacağı. Wikipedia olmayan ekipler için önerdiği pratik sıralama şöyle: robots.txt'yi izin verici tutmak (yazara göre GPTBot'u engellemek, AI kaynaklı trafiği kaybetmenin en kestirme yolu), modellerin zaten güvendiği üçüncü taraf sitelerde varlık göstermeye yatırım yapmak — topluluk yanıtları, dizinler, karşılaştırma sayfaları — ve sayfaları temiz biçimde çıkarılabilir kılmak; llms.txt ve JSON-LD'yü başlı başına bir strateji olarak değil, ucuz bir hijyen önlemi olarak görmek. 30 sitelik tek bir anlık görüntü tartışmayı sonuçlandırmaz — özellikle engelleme durumunun daha yaygın olduğu haber yayıncıları açısından — ama web'in tepesinde AI tarayıcı kapısının manşetlerin ima ettiğinden çok daha açık olduğunu gösteriyor.