Yapay zekâ tarayıcılarını engelleyip Google'da sıralamada kalabilir miyim?

Evet. Google'ın sıralamaları Googlebot'a bağlıdır; OpenAI, Anthropic ve Perplexity tarafından çalıştırılan yapay zekâ tarayıcıları ise tamamen ayrıdır. robots.txt içinde GPTBot, ClaudeBot ve PerplexityBot'a izin vermeyebilirsiniz ve Google sıralamalarınız değişmez.

İki önemli uyarı var.

AI Overviews'u ayrı olarak engelleyemezsiniz. Google AI Overviews ve AI Mode, Arama ile aynı dizin üzerine kuruludur. Google-Extended belirteci yalnızca içeriğinizin Gemini modellerini eğitip eğitmeyeceğini kontrol eder; ona izin vermemek AI Overviews için hiçbir şey yapmaz. AI Overviews'tan çıkmanın tek yolu noindex'tir ve bu sizi Arama'dan da kaldırır.

Yapay zekâ tarayıcılarını engellemenin kendi maliyeti vardır. ChatGPT, Claude veya Perplexity sayfalarınızı okuyamıyorsa sizin hakkınızda susmazlar. Daha eski eğitim verilerinden ya da sizi, çoğu zaman yanlış biçimde, tanımlayan üçüncü taraf sitelerden (dizinler, yorum platformları, rakipler) yanıt verirler. Çoğu hizmet işletmesi ve marka için bu, okunmaktan daha kötüdür.

Birçok kuruluşun seçtiği orta yol, eğitimi getirmeden ayırmaktır:

# Opt out of training, stay citable
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

Bu, içeriğinizi gelecekteki model eğitiminin dışında tutarken, arama odaklı botların bir kullanıcı sorduğunda sayfalarınızı getirip atıf yapmasına izin vermeye devam eder.

Ne karar verirseniz verin, bilinçli olsun. Denetimlerde en yaygın bulgu, yıllar önce eklenmiş bir joker karakter kuralı yüzünden her yapay zekâ botunu kazara engelleyen bir sitedir. Seoptist'in denetimi tam olarak hangi kullanıcı aracılarına izin verildiğini veya engellendiğini listeler ve yalnızca robots.txt'nin ortaya çıkaramayacağı güvenlik duvarı düzeyindeki engelleri işaretler.