Kann ich KI-Crawler blockieren und trotzdem bei Google ranken?
Kurze Antwort: Ja. Das Blockieren von GPTBot, ClaudeBot oder PerplexityBot hat keinen Einfluss auf Google-Rankings, aber aus AI Overviews können Sie nicht aussteigen, ohne auch die Google-Suche zu verlassen.
Ja. Googles Rankings hängen vom Googlebot ab, und die KI-Crawler von OpenAI, Anthropic und Perplexity sind davon vollständig getrennt. Sie können GPTBot, ClaudeBot und PerplexityBot in der robots.txt sperren, und Ihre Google-Rankings ändern sich nicht.
Es gibt zwei wichtige Einschränkungen.
AI Overviews lassen sich nicht separat blockieren. Google AI Overviews und AI Mode werden aus demselben Index wie die Suche gebaut. Das Token Google-Extended steuert nur, ob Ihre Inhalte Gemini-Modelle trainieren; es zu sperren bewirkt bei AI Overviews nichts. Der einzige Ausweg aus AI Overviews ist noindex, was Sie auch aus der Suche entfernt.
Das Blockieren von KI-Crawlern hat einen eigenen Preis. Wenn ChatGPT, Claude oder Perplexity Ihre Seiten nicht lesen können, verstummen sie nicht über Sie. Sie antworten aus älteren Trainingsdaten oder aus Drittseiten (Verzeichnissen, Bewertungsplattformen, Wettbewerbern), die Sie beschreiben, oft ungenau. Für die meisten Dienstleistungsunternehmen und Marken ist das schlimmer, als gelesen zu werden.
Ein Mittelweg, den viele Organisationen wählen, ist die Trennung von Training und Abruf:
# Opt out of training, stay citable
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
So bleiben Ihre Inhalte aus künftigem Modelltraining heraus, während die suchorientierten Bots Ihre Seiten weiterhin abrufen und zitieren dürfen, wenn ein Nutzer fragt.
Wie auch immer Sie sich entscheiden: Tun Sie es bewusst. Der häufigste Befund in Audits ist eine Website, die durch eine vor Jahren hinzugefügte Wildcard-Regel versehentlich jeden KI-Bot blockiert. Das Audit von Seoptist listet genau auf, welche User Agents erlaubt oder blockiert sind, und meldet Sperren auf Firewall-Ebene, die die robots.txt allein nicht zeigen würde.