deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak dev.to (home feed)

700 büyük sitenin robots.txt denetimi: AI crawler kuralları çoğu zaman yanlış botları engelliyor

dev.to'da yayınlanan ve 700 üst sıradaki siteyi inceleyen bir denetim, OAI-SearchBot engellerinin %43,6'sının training crawler'ları uzak tutmaya yönelik genel kurallardan kaynaklandığını ortaya koydu; alan adı bazındaki veri seti tamamıyla açık veri olarak yayınlandı.

700 büyük sitenin robots.txt denetimi: AI crawler kuralları çoğu zaman yanlış botları engelliyor

Web'in en yüksek sıralamalı 700 sitesinin robots.txt dosyalarını inceleyen bir denetim, site yöneticilerinin çoğu zaman bilinçli olarak hedeflemedikleri AI crawler'ları engellediğini, kimi zaman da kapalı olduklarını sandıkları kısıtlamaları gevşettiklerini ortaya koydu. dev.to'da yayımlanan analize göre her dosya, crawler'ları işleten şirketlerin kendi belgelerinde yer alan AI crawler token'larıyla karşılaştırıldı ve 9 Kasım 2026'da yapılan taramaya dayanan okumanın tamamı — alan adı alan adı, her kararı belirleyen satırıyla birlikte — açık veri olarak yayınlandı.

Denetim ne buldu

Her dosya iş birliği yapmadı: 700 siteden 407 robots.txt dosyası gerçekten alınabildi, 145 host ise isteği doğrudan reddetti. Yazar, örneklemi büyük ve üst sıralardaki sitelerin oluşturduğunu, dolayısıyla rakamların küçük işletmelerin resmi olarak okunmaması gerektiği konusunda uyarıyor.

İki rakam öne çıkıyor. GPTBot'u engelleyen sitelerin %80,3'ü bunu GPTBot'u açıkça adlandıran bir kuralla yaptı — sayfaları training corpus'unun dışında tutmak için bilinçli bir tercih. OAI-SearchBot'u — birisi soru sorduğu anda sayfayı alıp onunla yanıt vermeye ve geri bağlantı vermeye yarayan botu — engelleyen sitelerin ise %43,6'sı onu hiç adlandırmamıştı bile. Bu engeller, tüm botlara eşit derecede uygulanan bir User-agent: * kuralının sonucu olarak ortaya çıktı.

Yazının ortaya koyduğu temel sorun tam da bu: training crawler'larını dışlamak için yazılan kurallar, siteye ziyaretçi gönderecek olan cevap motorlarını da dışlıyor.

robots.txt'in dört yanlış okunma biçimi

Yazar karışıklığın çoğunu, robots.txt formatını tanımlayan RFC 9309 standardının ters anlaması kolay dört okumasına bağlıyor.

Birincisi, * grubu bir birleştirme değil, bir varsayılan gruptur. Herhangi bir grup belirli bir crawler'ı adlandırırsa, * grubu o crawler için tamamen yok sayılır. Tüm botlar için /private/ yolunu, yalnızca GPTBot için ise /drafts/ yolunu engelleyen bir dosya, GPTBot'un /private/ içine girmesine izin verir. Ters tuzağa da denk gelinebilir: * grubunun sitenin yarısını engellediği bir dosyaya GPTBot grubu eklemek, bu yollar GPTBot'un kendi grubunda tekrarlanmadığı sürece GPTBot için politikayı gevşetir.

İkincisi, grup seçimi tam eşleşmeye dayanır, önek eşleşmesine değil. Google-Extended için yazılmış bir kural Googlebot'u, Googlebot için yazılmış bir kural ise Googlebot-Image'ı kapsamaz. Yazar, tüm parser'ların bunu doğru işlediğini, insan okuyucuların ise Google-Extended engelini tutarlı biçimde "Google'ı engelledim" diye okuduğunu — oysa bunun yalnızca Gemini training'de kullanılan ürünü engelleyip arama indeksini olduğu gibi bıraktığını — belirtiyor.

Üçüncüsü, en uzun eşleşen desen kazanır ve Allow eşitliği bozar. Disallow: /blog/ ve Allow: /blog/public/ verildiğinde /blog/public/x yoluna izin verilir; Allow ve Disallow eşit uzunlukta eşleştiğinde Allow kazanır. Birçok kişinin sandığının aksine satır sırasının hiçbir rolü yoktur.

Dördüncüsü, boş bir Disallow her şeye izin verildiği anlamına gelir. Elinde Disallow: yazan satır, "kısıtlama yok" demenin belgelenmiş yoludur; her yolun eşleşeceği sıfır uzunluklu bir önek olarak yorumlansaydı tam tersini anlatırdı.

Açık veri ve kaynak gösteren bir denetleyici

Denetimin yanı sıra yazar, AI crawler user agent'larına ait bir referans veri seti yayımladı — User-agent satırlarında görünen token, onu kimin işlettiği, sayfaları ne için aldığı ve işletmecisinin robots.txt hakkında belgelediği şeyler — CC BY 4.0 lisansıyla JSON veya CSV formatında, ayrıca ücretsiz bir denetleyici ve kural üreteciyle birlikte sunuluyor.

Denetleyiciyi ayıran bir tasarım tercihi şu: yalnızca bir "izin var ya da engelli" kararı döndürmek yerine, kararı veren kuralı ve satır numarasını raporluyor; çünkü bir site sahibinin kendi dosyasıyla doğrulayabileceği tek yanıt biçimi bu. Üreteç, tüm bir siteyi indeksten çıkarabilen bir anahtarın dokuz AI crawler ile aynı listede durmaması gerektiği gerekçesiyle bilinçli olarak Googlebot ve Bingbot'u hariç tutuyor. Alan adı son eklerine ve karar satırlarına ilişkin rakamlarla birlikte 9 Kasım okumasının tamamı açık biçimde yayımlandı ve yazar, yeniden çalıştırıp farklı sonuçlar alan herkesin bunu bildirmesini davet ediyor.

Neden önemli

robots.txt, yayıncıların AI şirketleriyle pazarlık için elindeki ana kaldıraç haline geldi; ne var ki bu denetim, yöneticilerin önemli bir bölümünün kaldıracı semantiğini anlamadan kullandığını gösteriyor. Sonuçlar iki yönde de işliyor: AI yanıtlarında — ki bunlar geri bağlantı verip trafik gönderiyor — görünmekten yarar görecek siteler, genel training-crawler engelleri tarafından sessizce dışlanırken, belirli crawler'ları adlandıran siteler de herkes için kapattıkları yolları kazara yeniden açabiliyor. Cevap motorları anlamlı bir trafik kaynağı haline büyüdükçe, sorgulanmamış bir wildcard Disallow, kazara verilmiş bir iş kararı haline geliyor — ve veri seti artık kamuya açık olduğuna göre bu karar nihayet denetlenebilir hale geldi.

  • #robots-txt
  • #ai-crawlers
  • #web-crawlers
  • #open-data
  • #seo