Yapay zekâ crawler'larını nasıl içeri alırsınız: GPTBot, ClaudeBot ve PerplexityBot için robots.txt

Denetimlerimizde kabaca her dört siteden biri en az bir büyük yapay zekâ crawler'ını engelliyor ve sahiplerinin çoğu bunun farkında değil. Olağan neden, yıllar önce bir kazıyıcı (scraper) için eklenmiş bir Disallow: / kuralı ya da "yapay zekâ botlarını engelle" seçeneğini varsayılan olarak paketleyen bir güvenlik eklentisidir. Sonuç olarak bir müşteri sizi sorduğunda ChatGPT, Claude ve Perplexity sayfalarınızı okuyamaz; bayat eğitim verisinden ya da sizi yanlış listeleyen bir dizinden yanıt verirler.

Bu rehber kullanıcı ajanlarını, her birinin ne için olduğunu açıklıyor ve size kopyalayacağınız bir robots.txt veriyor.

Önemli yapay zekâ kullanıcı ajanları

Her sağlayıcı artık birden fazla bot çalıştırıyor ve bunlar farklı işler yapıyor. Birini engellemek diğerlerini engellemez.

OpenAI

• GPTBot, gelecekteki modelleri eğitmek için içerik toplar.
• OAI-SearchBot, ChatGPT arama sonuçları ve atıfları için sayfaları dizine ekler.
• ChatGPT-User, bir kullanıcı ChatGPT'ye bir sayfa hakkında soru sorduğunda o sayfayı talep üzerine getirir.

Anthropic

• ClaudeBot, eğitim için tarar.
• Claude-SearchBot, Claude arama özellikleri için dizine ekler.
• Claude-User, bir sohbet sırasında talep üzerine bir sayfa getirir.

Perplexity

• PerplexityBot, Perplexity yanıtları için sayfaları dizine ekler.
• Perplexity-User, bir kullanıcı belirli bir sayfa hakkında soru sorduğunda talep üzerine getirir.

Google

• Googlebot değişmedi ve hem Search'ü hem AI Overviews'u besler. Search'ten çıkmadan AI Overviews'tan çıkamazsınız.
• Google-Extended bir crawler değil, bir kontrol belirtecidir. Buna izin vermemek içeriğinizin Gemini modellerini eğitmek için kullanılmasını durdurur, ancak Search veya AI Overviews üzerinde hiçbir etkisi yoktur.

Bilinmeye değer diğerleri: Bingbot (Copilot yanıtları Bing'in dizinini kullanır), Applebot-Extended (Apple Intelligence eğitimi), CCBot (Common Crawl, pek çok araştırma veri kümesi tarafından kullanılır), Amazonbot ve Meta-ExternalAgent.

Eğitim ile getirme: gerçekte ne istediğinize karar verin

Birbirinden farklı iki soru var ve bunları ayrı ayrı yanıtlayabilirsiniz.

İçeriğinizin modelleri eğitmek için kullanılmasını istiyor musunuz? Eğitim botlarını (GPTBot, ClaudeBot, Google-Extended) engellemek, içerik satan yayıncılar için meşru bir tercihtir. Çoğu işletme içinse bir hatadır: eğitim verisinde yer almak, bir modelin var olduğunuzu, ne yaptığınızı ve nerede olduğunuzu öğrenme yoludur.

Bir kullanıcı sorduğunda asistanların sayfalarınızı getirip atıf yapmasını istiyor musunuz? Neredeyse her işletme için yanıt evettir ve bu, arama ve kullanıcı tetiklemeli botlara (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User) izin vermek anlamına gelir.

Talep üzerine çalışan "User" ajanlarının tasarım gereği robots.txt'yi genellikle yok saydığını unutmayın; çünkü o belirli sayfayı bir insan istemiştir. Onları engellemenin etkisi azdır; listelemenin amacı açık olmaktır.

Kopyalayabileceğiniz bir robots.txt

Bu sürüm önerilmenize yardımcı olan her şeye izin verir, özel alanları dışarıda tutar ve site haritasına işaret eder. İzin verilmeyen yolları sitenize göre ayarlayın.

# Default rules for all crawlers
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /account/
Disallow: /cart/
Disallow: /search

# AI assistants: allow indexing and retrieval so they can cite us
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Allow: /
Disallow: /admin/
Disallow: /account/

Sitemap: https://www.example.co.uk/sitemap.xml

Eğitimden çıkmak ama atıf yapılabilir kalmak istiyorsanız, yukarıdaki bloğu açık kurallarla değiştirin: OAI-SearchBot, Claude-SearchBot ve PerplexityBot'a izin verin; GPTBot, ClaudeBot ve Google-Extended'ı engelleyin.

robots.txt dosyanızı sessizce geçersiz kılan şeyler

Üst katmanda bir şey isteği engelliyorsa, izin verici bir robots.txt yeterli değildir.

• CDN ve WAF bot kuralları. Cloudflare, Akamai ve diğerleri "yapay zekâ botlarını engelle" anahtarları sunar. Yukarıdaki kullanıcı ajanlarına verilen 403 yanıtları için güvenlik duvarı olay günlüğünü kontrol edin.
• Hız sınırlama. Yapay zekâ crawler'ları agresif olabilir. Engellemek yerine bir Crawl-delay ayarlayın (bazıları buna uyar) veya CDN'inizi kullanarak kısıtlayın.
• Yalnızca JavaScript ile gelen içerik. Çoğu yapay zekâ crawler'ı JavaScript çalıştırmaz. Hizmet açıklamalarınız istemci tarafında oluşturuluyorsa bot boş bir sayfa görür. Sunucu tarafı oluşturma veya statik üretim bunu çözer.
• Meta robots ve X-Robots-Tag. Kilit sayfalardaki bir noindex veya noai başlığı, buna uyan botlar için robots.txt'yi geçersiz kılar.
• Botlara farklı bir sayfa döndüren giriş duvarları ve çerez geçiş ekranları.

Nasıl doğrulanır

Kendi sayfalarınızı kullanıcı ajanı dizesiyle getirin ve durum kodu ile gövdeyi kontrol edin. Örneğin:

curl -A "PerplexityBot" -I https://www.example.co.uk/services/
curl -A "GPTBot" -s https://www.example.co.uk/ | grep -i "<title>"

Gerçek HTML'nizle gelen bir 200 yanıtı erişilebilir olduğunuz anlamına gelir. Bir 403, bir doğrulama sayfası ya da boş bir gövde, arada bir şey olduğu anlamına gelir.

Seoptist'in denetimi tüm bunları otomatik olarak kontrol eder: yapay zekâ kullanıcı ajanı başına robots.txt kuralları, WAF engelleri, JavaScript oluşturma ve llms.txt varlığı. Her sorun, değiştirilecek tam satırlarla birlikte kontrol listenizde görünür.