10.099 Shopify mağazası üzerinde yapılan araştırma: Neredeyse hiç AI crawler kuralı yok ve filtrelemeyen bir kategori filtresi

Ne ölçüldü

dev.to'da yayımlanan ve her ikisi de 10.099 bilinen Shopify mağazasından oluşan bir külliyata dayanan iki ilgili ölçüm tek bir bulguda birleşiyor: Neredeyse hiçbir satıcı, AI agent'ların mağazasına erişimi konusunda bilinçli bir karar vermemiş. Araştırmalardan biri tüm külliyattaki robots.txt dosyalarını okudu; diğeri Shopify'ın yeni agent-commerce endpoint'ini 200 mağazadan oluşan bir örneklem üzerinde test etti. Her iki yazı da ilk olarak shelfglance.com'da yayımlandı ve her ikisi de ham okumalarını mağaza başına bir satır olacak şekilde CSV dosyaları olarak paylaşıyor.

Mağazaların yüzde 98,7'si hiçbir şey engellemiyor

29 Ağustos ile 2 Eylül 2026 arasında robots.txt araştırması, büyük crawler'ların belgelediği kuralları kullanarak — en spesifik user-agent grubu geçerlidir, en uzun eşleşen path kuralı kazanır, eşitlikte Allow, Disallow'ı geçer — her mağazanın dosyasını ayrıştırdı ve on iki AI crawler adına tek bir soru sordu: /products/ sayfasını çekebilirler mi?

10.099 mağazadan yalnızca 133'ü (yüzde 1,32) en az bir crawler'ı engelliyor. Engellenen adların çoğunluğunu eğitim ve grounding crawler'ları oluşturuyor: 81 mağazada CCBot, 77'de GPTBot, 72'de Bytespider, 60'ta Amazonbot, 58'de Google-Extended ve 53'te ClaudeBot. Yanıt anında sayfa çeken dört crawler — ChatGPT-User, PerplexityBot, OAI-SearchBot ve Perplexity-User — sırasıyla yalnızca 11, 10, 6 ve 3 mağaza tarafından engelleniyor. Külliyatın tamamında yalnızca 13 mağaza herhangi bir yanıt zamanı crawler'ını engelliyor.

Engelleme karar verilmişten çok kopyalanmış görünüyor. dev.to yazısına göre 133 mağazadan 130'u site geneline yayılan bir Disallow: / kullanıyor ve 28'i aynı sekiz eğitim crawler'ı listesini harfi harfine engelliyor; bu, yanıt zamanı adlarının hiçbirini içermeyen paylaşılmış bir snippet'e benziyor. En keskin sinyal OpenAI'nin ikilisi: Modelleri eğiten GPTBot'ı 77 mağaza engellerken, ChatGPT'nin alışveriş sonuçlarını besleyen OAI-SearchBot'ı yalnızca altı mağaza engelliyor — ve bu altısının tümü GPTBot'ı da engelliyor. Alışveriş crawler'ını engelleyip eğitim crawler'ına izin veren tek mağaza yok. Yazarın sonucu şu: Külliyattaki hiçbir mağaza AI alışveriş yanıtlarından bilinçli olarak çıkmamış; dışarıda kalanlar, kopyalanmış bir eğitim opt-out'ının tesadüfen bu adı içermesi nedeniyle oraya düşmüş.

Sekiz mağazada noai veya noimageai meta robots etiketi var; bunların altısı robots.txt'te hiçbir şey engellemiyor ve sekizinden altısı müzisyenlerin ürün mağazalarına benziyor, tek bir şablon paylaşıyorlar. Araştırma, edge veya firewall engellemeleri taramaya görünmez olduğu için her sayının bir alt sınır olduğunu vurguluyor.

Filtrelemeyen kategori filtresi

İkinci araştırma, 2026'dan beri her Shopify mağazasının POST /api/ucp/mcp adresinde yanıt verdiği ve /.well-known/ucp adresinde duyurduğu Universal Commerce Protocol endpoint'ini inceliyor. Satıcılar bunu etkinleştirmiş değil ve yönetim panelinde görünmüyor. search_catalog aracı AI alışveriş agent'larına yapılandırılmış ürün verisi sunuyor — küçük birimlerde fiyatlar, varyantlar, SKU'lar, canonical URL'ler ve ürün başına bir taxonomy kategorisi — ve şema, kategori değerlerini OR mantığıyla birleştirdiği belgelenen catalog.filters.categories parametresini bildiriyor.

Yazar, külliyattan 200 mağazayı deterministik olarak örnekledi ve 2 Eylül 2026'da mağaza başına beş özdeş çağrı yaptı; 190'ı okunabildi. Sonuç: 186 mağaza kategori filtresini tamamen yok saydı; öyle ki imkânsız bir kategori ID'si bile tam, filtrelenmemiş kataloğu döndürdü; dördü kendi ürünlerinin taşıdığı kategoriler dahil her değeri reddetti; ve hiçbiri doğru filtrelemedi. 190 mağazadan 177'sinde döndürülen ürünler taxonomy kategorileri taşıyor; yani bu, eksik veri değil — filtre basitçe bunu kullanmıyor.

Bir kontrol çağrısı bu boş sonucu inandırıcı kılıyor. Bir sente ayarlanmış fiyat filtresi 190 mağazadan 150'sinde doğru şekilde hiçbir şey döndürmezken, bu 150 mağazadan 148'inde aynı istek kategori parametresini yok saydı. Aynı zarftaki bir alan sonucu değiştiriyor; diğeri değiştirmiyor. Yazar ayrıca erken bir çalışmadaki hatayı da açıkça belirtiyor — şemanın string beklediği yerde kategori objeleri göndermek — bu da kısa süreliğine toplu ret yanılgısına yol açmıştı; yazar, "yanlış gönderdin" açıklamasını kapatmak için düz tanımlayıcı varyantı da ekledi.

Yazıya göre iki sonuç doğuyor: Kategorize edilmemiş bir ürün agent'lardan gizlenmiyor, çünkü hiçbir şey filtrelenmiyor; ve bugün hiçbir agent, şemanın vaadettiği her ne olursa olsun, okunabilir mağazaların hiçbirinde katalog aramasını kategoriye göre daraltamıyor. Yazar bunu Shopify'a bir şikâyetten çok genç bir protokol için sıradan bir durum olarak çerçeveliyor; çıkarım ise bir endpoint'in ne yaptığını test etmek, ne beyan ettiğine güvenmek.

Neden önemli

Ticaret, satıcıların tercihiyle değil platform varsayılanıyla AI agent'lara göre dizayn ediliyor. Shopify, yapılandırılmış agent endpoint'ini satıcıya görünür bir ayar olmadan tüm mağazalarda açtı ve satıcıların elindeki tek kontrol olan robots.txt, mağazaların yüzde 98,7'si tarafından kullanılmıyor; kullanıldığı yerlerde de çoğunlukla yanıt zamanı alışveriş crawler'ları var olmadan önce yazılmış, kopyalanmış bir eğitim opt-out'ını yansıtıyor. Etkin varsayılan, tesadüfen belirlenmiş tam bir AI alışveriş agent'ına açıklık.

Agent geliştiricileri için ikinci araştırma bir uyarı: Bir protokolün beyan ettiği yetenekler, kategori filtresi gibi, henüz belgelendiği gibi davranmayabilir; dolayısıyla istemciler katalog yanıtlarını filtresiz kabul edip sonuçları kendileri daraltmalı. Her iki araştırma da denetlenebilir alan adlarını içeren mağaza başına satırları yayımladığı için herkes sayıları güvenerek kabul etmek yerine yeniden hesaplayabilir.