Araştırmaya göre ChatGPT ve Gemini aynı yerel işletmeyi sorguların yalnızca yüzde 4,2'sinde ilk sıraya koyuyor

Ana bulgu

ChatGPT ve Gemini, yerel bir hizmet işletmesi önermesi istendiğinde nadiren aynı sonuca ulaşıyor. Steady Demand'ın AI Citation Ledger'da yayımladığı ve dev.to üzerinden görüntülenen araştırmaya göre, iki asistan aynı sorgularda yalnızca yüzde 4,2 oranında aynı işletmeyi ilk sırada gösterdi.

Araştırma, "bana en iyi tesisatçı" tarzı prompt'lar kullanarak 50 ABD metropol bölgesini ve 10 hizmet sektörünü kapsayan 1.487 yerel hizmet aramasını içeriyor. Her yanıt için araştırmacılar, hangi işletmenin ilk sırada anıldığını ve asistanın yanıtını dayandırdığı kaynakları kaydetti.

Farklı motorlar, farklı kanıtlar

Bu uyuşmazlık, her asistanın kanıtları nasıl derlediğine dayanıyor. Gemini atıflarının yaklaşık yüzde 60'ını işletme web sitelerinden alırken, ChatGPT Reddit'e ve geleneksel dizinlere daha çok yaslandı. İki motorda atıf yapılan alan adlarının yalnızca yaklaşık yüzde 8'i örtüşüyordu; yani iki sistem aynı yerel pazarın fiilen farklı versiyonlarını okuyor.

Kayıt karışımı sektöre göre de değişiyor. Araştırma, kişisel yaralanma hukuku, diş hekimliği ve otomobil tamiri gibi sektörlerde birbirinden farklı atıf davranışları buldu. Angi, Better Business Bureau ve Reddit gibi ulusal platformlar metropoller arasında ortak referans noktaları olarak öne çıktı, ancak bölgesel farklar hangi işletmelerin ve kaynakların ortaya çıktığını yine de şekillendirdi.

AI yanıtları local pack'ten daha az istikrarlı

Tekrarlanabilirlik ayrı bir sorun. Araştırmacılar sorguları kelimesi kelimesine yeniden çalıştırdığında, atıf yapılan kaynaklar yalnızca yaklaşık yüzde 40 oranında uyumlu çıktı; rapor bu olguyu "grounding drift" olarak adlandırıyor. Dolayısıyla tek bir olumlu ya da olumsuz ekran görüntüsü, kalıcı herhangi bir şeyin zayıf bir kanıtıdır.

Geleneksel yerel aramayla karşılaştırma çarpıcı. Google'ın local pack'i araştırmanın kıyaslamasında en iyi sonucu yaklaşık yüzde 90 oranında yeniden üretti; buna karşılık Gemini'nin AI tarafından üretilen sonuçlarında en iyi eşleşme istikrarı kabaca yüzde 7'ydi. Sunulan araştırma ChatGPT için ayrı bir tekrarlanabilirlik rakamı vermiyor.

Pratikteki anlamı

Raporun temel mesajı, "AI'da sıralama"nın bir işletmenin bir kez ölçebileceği tek ve sabit bir puan olmadığı. Önerilen izleme yaklaşımının birkaç hareketli parçası var:

• Bir motoru tüm AI keşfinin temsilcisi olarak görmek yerine her asistanı ayrı ayrı test edin.

• Gerçek müşteri ifadelerini, hizmetleri ve konumları yansıtan prompt'lar kullanın.

• Tek seferlik yanıtları tekrarlanan örüntülerden ayırmak için aynı prompt'ları zaman içinde tekrarlayın.

• Her motorun kanıtı nerede aradığını kaynaklar ortaya koyduğu için, adı geçen işletmelerin yanında atıf yapılan kaynakları da kaydedin.

• Sonuçları sektör ve pazara göre bölümlere ayırın, çünkü bir kategoriye veya metropole yarayan bir taktik genelleşmeyebilir.

Kaynak örüntüleri, çabanın nerede karşılık bulabileceğine işaret ediyor. Gemini işletme web sitelerini tercih ediyorsa, net hizmet sayfaları ve tutarlı konum bilgileri bir işletmenin daha kolay temellendirilmesini sağlamalı. ChatGPT dizinleri ve topluluk tartışmalarını tercih ediyorsa, listeleme doğruluğu ve net kamusal bilgi daha önemli hale geliyor. Araştırma, yapılandırılmış veri dahil hiçbir özel taktiğin iki asistanda da yer almayı garanti etmediğini söylemeye özen gösteriyor.

Neden önemli

Tüketiciler işletmelere bir harita paketi veya bağlantı listesi yerine giderek AI asistanları aracılığıyla ulaştıkça, keşif motora göre parçalanıyor. ChatGPT'de baskın görünen bir işletme Gemini'de neredeyse görünmez olabilir ve tersi de geçerli, çünkü iki sistem büyük ölçüde örtüşmeyen kaynaklara atıfta bulunuyor. Yüzde 4,2'lik bir uzlaşma oranı, tek bir asistanı kontrol etmenin — önceki dönemde tek bir arama motorunu izlemenin dengi — bir markanın AI görünürlüğünü ciddi biçimde yanlış okuduğu anlamına geliyor.

Araştırmanın saygı duyulması gereken sınırları da var. Dönüşümleri değil atıfları ve adı geçen işletmeleri ölçüyor; kapsamı on kategoride ABD yerel hizmetleri, bu yüzden AI yanıtlarının müşteri talebi yaratıp yaratmadığını veya bulguların başka yerlere nasıl genelleştiğini belirleyemiyor. Belirlediği şey bir ölçüm sorunu: AI çıktılarını kararlar için kullanan ekipler motoru, prompt'u, konumu, tarihi, atıf yapılan kaynakları ve tekrarlı çalıştırmaları kaydetmeli ve her tek yanıtı istikrarlı bir pazar sıralaması değil, tek bir veri noktası olarak görmeli.