llms.txt açıklaması: Sitelerin yapay zeka modelleri için yayımladığı Markdown dosyası ve işe yarayıp yaramadığı

Jeremy Howard'ın ilk kez önermesinin üzerinden iki yılı aşkın süre geçtikten sonra, yapay zeka modellerine bir web sitesinin küratörlüğünü yapılmış bir haritasını sunan düz metin dosyası llms.txt, yan bir öneriden yüzlerce site tarafından yayımlanan bir standarda dönüştü. dev.to'da yayımlanan bir rehbere göre, fast.ai'nin kurucusu ve Kaggle'ın eski başkanı olan Howard, fikri Eylül 2024'te ortaya attı. Cloudflare, Stripe, Anthropic, Vercel, Supabase ve Zapier o zamandan beri dosyalarını yayımladı ve topluluk dizinleri şu anda 780'den fazla siteyi benimseyen olarak sayıyor.

Dosya gerçekte ne yapıyor

ChatGPT veya Perplexity gibi bir chatbot bir ürünle ilgili soruyu yanıtladığında, crawler'ı ham HTML'i çeker: üstbilgiler, altbilgiler, gezinme menüleri, çerez bildirimleri ve açılır pencereler; asıl içerik bir yerlere gömülü durur. Bir XML sitemap bunu çözmez, çünkü her URL'i — ana sayfa, gizlilik politikası, çoktan unutulmuş test sayfaları — eşit ağırlıkla listeler ve nereden başlanacağına dair hiçbir işaret vermez. Site kök dizininde sunulan llms.txt ise bir Markdown belgesidir; sitenin ne hakkında olduğunu belirtir ve en önemli sayfalara bağlantı verir.

Bilinçli olarak minimal bir şartname

Format tam olarak bir öğeyi zorunlu kılar: site veya proje adını taşıyan bir H1 başlığı. Geri kalan her şey isteğe bağlıdır — siteyi özetleyen bir blockquote, ilgili bağlantıları gruplandıran H2 bölümleri ve kısa açıklamalı Markdown bağlantıları. dev.to rehberine göre Howard, sitelerin halihazırda sitemap, robots.txt ve meta etiketlerine sahip olduğunu ama dil modelleri için yazılmış bir genel bakış sunan hiçbir şey olmadığını gerekçesiyle formatı minimal tuttu.

İki varyant: özet ve tam metin

Standart iki dosya tanımlar. llms.txt yoğunlaştırılmış sürümdür — bir özet ve ana sayfalara bağlantılar, genellikle en fazla birkaç yüz satır. llms-full.txt ise önemli sayfaların tam Markdown içeriğini tek bir dosyada birleştirir; böylece yeterince büyük bir context window'a sahip model, HTML'i taramaya veya ayrıştırmaya gerek kalmadan tüm bir dokümantasyon setini tek seferde özümseyebilir. Rehberde bildirilen boyutlar farkı net biçimde ortaya koyuyor: Cloudflare'ın tam dosyası 3,7 milyon token, Anthropic'inki yaklaşık 481.000 token, Vercel'inki ise 400.000 kelimelik bir romanla karşılaştırılıyor.

Kimler kullanıyor

Benimseme ağırlıklı olarak geliştiricilere yönelik şirketlerde yoğunlaşıyor. Rehber, Stripe'ın dosyasını ürün kategorisine göre düzenlediğini ve agent'ların düz metin dokümantasyonu nasıl alabileceğini açıkladığını; Cloudflare'ın girdileri ürün hattına göre yapılandırdığını ve bir modelin hangi sayfayı çekeceğine karar vermesine yardımcı olan açıklamalar içerdiğini belirtiyor. Anthropic her iki varyantı da sürdürüyor — 8.364 tokenlık bir özet ve API dokümantasyonunu kapsayan 481.349 tokenlık bir tam sürüm — Vercel ise kavramı HTML sayfalarının içine gömülü LLM talimatları önerisiyle genişletti. Supabase, Zapier, Modal ve Coinbase de benimseyenler arasında listeleniyor.

Kanıtlar karışık

Search Engine Land on web sitesini 180 gün boyunca izledi — llms.txt eklenmeden önce 90 gün, eklendikten sonra 90 gün. İki sitede yapay zeka trafiği arttı (yüzde 12,5 ve yüzde 25), sekizinde ölçülebilir bir değişim olmadı, birinde ise yüzde 19,7 düştü. Rehber, trafik artışı gören iki sitenin bu dönemde ayrıca yeni içerik ve halkla ilişkiler kampanyaları da başlattığına dikkat çekiyor; yani iyileşmeyi tek başına dosyanın sağladığı gösterilmedi.

Erişim de dar: Rankability, küresel ölçekte en çok ziyaret edilen 1.000 web sitesini taradı ve 2025 ortası itibarıyla yalnızca yüzde 0,3'ünün llms.txt dosyası taşıdığını buldu. Hiçbir yapay zeka sağlayıcısı — OpenAI, Anthropic veya Google — crawler'larının dosyayı tutarlı biçimde izlediğini doğrulamadı ve Google'dan John Mueller, standardı çoktan kullanımdan kaldırılmış keywords meta etiketine benzetti.

Yine de benimseme gerekçesi çoğunlukla maliyetle ilgili. Rehber, kurulumun dakikalar sürdüğünü ve bir olumsuz yanı bulunmadığını ileri sürüyor ve 2026 sonuna kadar arama hacminin dörtte birinin geleneksel motorlardan uzaklaşacağı yönündeki Gartner tahmini de dahil olmak üzere yapay zeka aramasının büyümesine ilişkin öngörülere atıf yapıyor.

robots.txt veya sitemap'lerin yerine geçmiyor

Üç dosya farklı işler yapar. robots.txt hangi crawler'ların bir siteye erişebileceğini denetler; XML sitemap dizinleme için her URL'i listeler; llms.txt ise sitenin ne olduğunu ve hangi sayfaların önemli olduğunu düzyazıyla açıklar. Rehber bunları sırasıyla bir güvenlik görevlisi, bir telefon rehberi ve bir rehber gibi betimliyor — çoğu sitenin üçüne de ihtiyaç duyduğunu öne sürüyor.

WordPress'te kurulum

Manuel yol, Markdown dosyasını wp-config.php'nin yanı sıra WordPress kök dizininde oluşturmayı, FTP veya bir barındırma dosya yöneticisiyle yüklemeyi ve WordPress'in dosyayı doğru sunması için .htaccess veya functions.php içine rewrite kuralları eklemeyi gerektirir. Olumsuz yanı bakımdır: her yeni yazı veya yeniden yapılandırılan sayfa elle düzenleme gerektirir ve bu, içerik yoğun sitelerde yorucu hale gelir. Rehber, dosyanın bunun yerine bir eklentiyle otomatik olarak oluşturulmasını öneriyor ve eklenti anlatımı, yayımlanan alıntının ötesinde devam ediyor.

Neden önemli

llms.txt, yapay zeka sistemlerinin web'i nasıl tüketeceğine dair düşük maliyetli bir bahistir. Ölçülmüş kanıtlar dosyanın tek başına trafik getirdiğini göstermiyor ve büyük model sağlayıcılarının hiçbiri onu okuyacağına taahhüt vermiş değil — yine de Stripe, Cloudflare, Anthropic ve yüzlerce diğer site yayımlıyor. Yapay zeka aracılı arama büyümeye devam ederse, küratörlüğü yapılmış bir makine tarafından okunabilir genel bakış, erken dönem arama motorları için sitemap'ler olduğu gibi temel bir yayımcılık altyapısı gibi görünmeye başlar. Şimdi yayımlamak, okuyucuları henüz resmen var olmadan bir kuralı şekillendirir; maliyeti ise birkaç dakikalık emektir.