Sözlük
ClaudeBot
Kısaca: ClaudeBot, Anthropic'in Claude modellerini eğitmek için herkese açık sayfaları toplamakta kullandığı web tarayıcısıdır; Claude-SearchBot ve Claude-User ise erişim ve isteğe bağlı getirme işlerini üstlenir.
ClaudeBot, Anthropic'in eğitim verisi için herkese açık web'i taramakta kullandığı kullanıcı aracısıdır (user agent). robots.txt dosyasına uyar ve kendini açıkça tanıtır; bu sayede adıyla izin verilebilir veya engellenebilir. Anthropic ayrı amaçlarla iki aracı daha çalıştırır: Claude'un arama özellikleri için sayfaları dizine ekleyen Claude-SearchBot ve bir kullanıcı sohbet sırasında Claude'a bir sayfayı sorduğunda o sayfayı getiren Claude-User.
Bu ayrım, ne istediğinize karar verirken önem kazanır. İçerik satan bir yayıncı, ClaudeBot'u (eğitim) meşru biçimde engellerken Claude-SearchBot'a (erişim ve atıf) izin verebilir. Yerel bir hizmet işletmesi ise genellikle üçüne de izin vermek ister; çünkü eğitim verisinde yer almak, modelin işletmenin var olduğunu öğrenme yoludur ve erişim de güncel ayrıntıları bulma yoludur.
Diğer yapay zekâ tarayıcılarında olduğu gibi, izin verici bir robots.txt, bir CDN veya güvenlik duvarı kuralıyla, hata döndüren hız sınırlamasıyla ya da çoğu tarayıcının çalıştırmadığı JavaScript ile yalnızca tarayıcı tarafında oluşturulan içerikle etkisiz hâle gelebilir.
Seoptist, Claude'u motorlarından biri olarak, web araması etkin resmî Anthropic API'si üzerinden takip eder ve denetimi, ClaudeBot ile ilgili aracıların kilit sayfalarınıza gerçekten ulaşabildiğini kontrol eder.