So lassen Sie KI-Crawler herein: robots.txt für GPTBot, ClaudeBot und PerplexityBot

In unseren Audits blockiert ungefähr jede vierte Website mindestens einen großen KI-Crawler, und die meisten Betreiber wissen es nicht. Die übliche Ursache ist eine Disallow: /-Regel, die vor Jahren gegen einen Scraper eingefügt wurde, oder ein Sicherheits-Plugin, das „KI-Bots blockieren“ als Standard mitbringt. Die Folge: ChatGPT, Claude und Perplexity können Ihre Seiten nicht lesen, wenn ein Kunde nach Ihnen fragt, und antworten daher aus veralteten Trainingsdaten oder aus einem Verzeichnis, das Sie falsch listet.

Dieser Leitfaden erklärt die User-Agents, wofür jeder einzelne da ist, und gibt Ihnen eine robots.txt zum Kopieren.

Die KI-User-Agents, die zählen

Jeder Anbieter betreibt inzwischen mehr als einen Bot, und sie erledigen unterschiedliche Aufgaben. Einen zu blockieren blockiert nicht die anderen.

OpenAI

• GPTBot sammelt Inhalte für das Training künftiger Modelle.
• OAI-SearchBot indexiert Seiten für ChatGPT-Suchergebnisse und Zitate.
• ChatGPT-User ruft eine Seite auf Anfrage ab, wenn ein Nutzer ChatGPT danach fragt.

Anthropic

• ClaudeBot crawlt für das Training.
• Claude-SearchBot indexiert für die Suchfunktionen von Claude.
• Claude-User ruft eine Seite auf Anfrage während einer Unterhaltung ab.

Perplexity

• PerplexityBot indexiert Seiten für Perplexity-Antworten.
• Perplexity-User ruft auf Anfrage ab, wenn ein Nutzer nach einer bestimmten Seite fragt.

Google

• Googlebot ist unverändert und speist sowohl die Suche als auch AI Overviews. Sie können sich nicht aus AI Overviews abmelden, ohne die Suche zu verlassen.
• Google-Extended ist ein Steuer-Token, kein Crawler. Es per Disallow zu sperren verhindert, dass Ihre Inhalte zum Training von Gemini-Modellen verwendet werden, hat aber keine Auswirkung auf die Suche oder AI Overviews.

Weitere, die man kennen sollte: Bingbot (Copilot-Antworten nutzen Bings Index), Applebot-Extended (Training für Apple Intelligence), CCBot (Common Crawl, von vielen Forschungsdatensätzen genutzt), Amazonbot und Meta-ExternalAgent.

Training versus Abruf: Entscheiden Sie, was Sie wirklich wollen

Es gibt zwei getrennte Fragen, und Sie können sie getrennt beantworten.

Möchten Sie, dass Ihre Inhalte zum Training von Modellen verwendet werden? Trainings-Bots zu blockieren (GPTBot, ClaudeBot, Google-Extended) ist eine legitime Entscheidung für Publisher, die Inhalte verkaufen. Für die meisten Unternehmen ist es ein Fehler: In den Trainingsdaten zu sein ist der Weg, auf dem ein Modell lernt, dass Sie existieren, was Sie tun und wo Sie sind.

Möchten Sie, dass Assistenten Ihre Seiten abrufen und zitieren, wenn ein Nutzer fragt? Für fast jedes Unternehmen lautet die Antwort Ja, und das heißt, die Such- und nutzergetriggerten Bots zu erlauben (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User).

Beachten Sie, dass die On-Demand-„User“-Agents die robots.txt in der Regel bewusst ignorieren, weil ein Mensch genau diese Seite angefordert hat. Sie zu blockieren hat wenig Wirkung; der Sinn, sie aufzulisten, ist Eindeutigkeit.

Eine robots.txt zum Kopieren

Diese Version erlaubt alles, was Ihnen hilft, empfohlen zu werden, hält private Bereiche heraus und verweist auf die Sitemap. Passen Sie die gesperrten Pfade an Ihre Website an.

# Default rules for all crawlers
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /account/
Disallow: /cart/
Disallow: /search

# AI assistants: allow indexing and retrieval so they can cite us
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Allow: /
Disallow: /admin/
Disallow: /account/

Sitemap: https://www.example.co.uk/sitemap.xml

Wenn Sie sich vom Training abmelden, aber zitierbar bleiben möchten, ersetzen Sie den obigen Block durch explizite Regeln: Erlauben Sie OAI-SearchBot, Claude-SearchBot und PerplexityBot, und sperren Sie GPTBot, ClaudeBot und Google-Extended.

Dinge, die Ihre robots.txt stillschweigend aushebeln

Eine freizügige robots.txt reicht nicht, wenn etwas vorgelagert die Anfrage blockiert.

• Bot-Regeln von CDN und WAF. Cloudflare, Akamai und andere bieten Schalter wie „KI-Bots blockieren“. Prüfen Sie das Ereignisprotokoll der Firewall auf 403-Antworten an die oben genannten User-Agents.
• Rate-Limiting. KI-Crawler können aggressiv sein. Statt zu blockieren, setzen Sie ein Crawl-delay (das manche respektieren) oder drosseln Sie über Ihr CDN.
• Inhalte nur per JavaScript. Die meisten KI-Crawler führen kein JavaScript aus. Wenn Ihre Leistungsbeschreibungen clientseitig gerendert werden, sieht der Bot eine leere Seite. Serverseitiges Rendering oder statische Generierung beheben das.
• Meta Robots und X-Robots-Tag. Ein noindex- oder noai-Header auf Schlüsselseiten überschreibt die robots.txt für die Bots, die ihn beachten.
• Login-Wände und Cookie-Interstitials, die Bots eine andere Seite ausliefern.

So prüfen Sie es

Rufen Sie Ihre eigenen Seiten mit dem User-Agent-String ab und prüfen Sie Statuscode und Body. Zum Beispiel:

curl -A "PerplexityBot" -I https://www.example.co.uk/services/
curl -A "GPTBot" -s https://www.example.co.uk/ | grep -i "<title>"

Eine 200-Antwort mit Ihrem echten HTML bedeutet, dass Sie erreichbar sind. Ein 403, eine Challenge-Seite oder ein leerer Body bedeuten, dass etwas im Weg ist.

Das Audit von Seoptist prüft all das automatisch: robots.txt-Regeln pro KI-User-Agent, WAF-Sperren, JavaScript-Rendering und das Vorhandensein einer llms.txt. Jedes Problem erscheint in Ihrer Checkliste mit den genauen Zeilen, die zu ändern sind.