ClaudeBot

ClaudeBot ist der User-Agent, mit dem Anthropic das öffentliche Web nach Trainingsdaten durchsucht. Er respektiert robots.txt und identifiziert sich eindeutig, sodass er namentlich erlaubt oder gesperrt werden kann. Anthropic betreibt zwei weitere Agents mit getrennten Aufgaben: Claude-SearchBot, der Seiten für die Suchfunktionen von Claude indexiert, und Claude-User, der eine Seite abruft, wenn ein Nutzer Claude während einer Unterhaltung danach fragt.

Diese Aufteilung ist wichtig, wenn Sie entscheiden, was Sie wollen. Ein Verlag, der Inhalte verkauft, kann ClaudeBot (Training) berechtigterweise sperren und gleichzeitig Claude-SearchBot (Retrieval und Zitation) zulassen. Ein lokaler Dienstleister möchte in der Regel alle drei zulassen, denn über die Trainingsdaten lernt das Modell, dass das Unternehmen existiert, und über Retrieval findet es aktuelle Details.

Wie bei anderen KI-Crawlern kann eine freizügige robots.txt durch eine CDN- oder Firewall-Regel, durch Rate-Limiting mit Fehlerantworten oder durch Inhalte, die nur per JavaScript gerendert werden, das die meisten Crawler nicht ausführen, wieder ausgehebelt werden.

Seoptist beobachtet Claude als eine seiner Engines über die offizielle Anthropic-API mit aktivierter Websuche, und das Audit prüft, ob ClaudeBot und die zugehörigen Agents Ihre wichtigsten Seiten tatsächlich erreichen können.