Kostenloses Tool · läuft in Ihrem Browser · keine Anmeldung

KI-Crawler-Checker

Kostenloser robots.txt-Checker für KI-Crawler. Sehen Sie, ob GPTBot, OAI-SearchBot, ClaudeBot, Claude-User, PerplexityBot, Google-Extended, Googlebot, Bingbot, CCBot und Applebot-Extended erlaubt oder blockiert sind, mit einer Erklärung zu jedem Bot und einem kopierbaren Fix.

Die Ergebnisse erscheinen hier: eine Zeile pro KI-Crawler, mit seinem Zweck und ob Ihre Regeln ihn hereinlassen.

So verwenden Sie es

Öffnen Sie https://ihredomain.de/robots.txt und kopieren Sie alles.
Fügen Sie es in das Feld ein und klicken Sie auf Prüfen.
Prüfen Sie jeden Crawler: Trainings-Bots sind optional, Abruf- und Such-Bots entscheiden, ob KI-Antworten Sie zitieren können.
Kopieren Sie die vorgeschlagenen Gruppen in die robots.txt und prüfen Sie erneut.

Fragen

Verhindert das Blockieren von GPTBot, dass ChatGPT mein Unternehmen erwähnt?

Nein. GPTBot sammelt Trainingsdaten. Die Live-Antworten von ChatGPT nutzen OAI-SearchBot für Suchergebnisse und ChatGPT-User zum Abrufen von Seiten. Blockieren Sie diese, kann ChatGPT Sie nicht zitieren; blockieren Sie GPTBot, lernen künftige Modelle weniger über Sie.

Wird die robots.txt durchgesetzt?

Sie ist eine Empfehlung. Seriöse Crawler von OpenAI, Anthropic, Google, Microsoft, Perplexity und Common Crawl halten sich daran. Informationen, die ein Modell bereits gelernt hat, kann sie nicht entfernen.

Warum steht Googlebot in der Liste?

Google AI Overviews und AI Mode werden aus dem normalen Google-Index aufgebaut, den Googlebot erstellt. Google-Extended steuert nur das Gemini-Training, nicht die Suchfunktionen.

Weitere kostenlose Tools

Soll das automatisch geprüft werden, jede Woche?

Seoptist führt diese Prüfungen und 120 weitere über Ihre gesamte Website aus, stellt den KI-Engines die Fragen Ihrer Kunden und liefert Ihnen eine priorisierte Checkliste.

Kostenlosen KI-Sichtbarkeits-Check starten 14 Tage kostenlos testen

Für den kostenlosen Check ist keine Karte nötig. Preise zzgl. MwSt.