Glossar
Google-Extended
Kurz gesagt: Google-Extended ist ein Steuer-Token für die robots.txt, mit dem Website-Betreiber die Nutzung ihrer Inhalte zum Training von Gemini-Modellen ablehnen können, ohne die Google-Suche oder AI Overviews zu beeinflussen.
Google-Extended ist kein Crawler. Es ist ein Token, das Sie in der robots.txt nennen können, um Google mitzuteilen, ob von Googlebot abgerufene Seiten zum Training und Grounding der Gemini-Modelle verwendet werden dürfen. Es gibt keinen separaten Bot mit diesem Namen und keine separate Anfrage in Ihren Logs; Googlebot ruft die Seite wie gewohnt ab, und Google wendet Ihre Google-Extended-Regel anschließend an.
Die wichtige Konsequenz ist, was es nicht steuert. Ein Disallow für Google-Extended hat keine Auswirkung auf Suchrankings, auf AI Overviews oder auf AI Mode. Diese werden alle vom normalen Suchindex gespeist, und Sie können sich davon nicht abmelden, ohne Googlebot zu blockieren und die Suche ganz zu verlassen. Das Token betrifft nur das Training eigenständiger Gemini-Modelle und teilweise das Grounding der Gemini-App.
Eine typische Regel, um das Training abzulehnen und alles andere beizubehalten, sieht so aus:
User-agent: Google-Extended
Disallow: /
Für die meisten Unternehmen ist es die bessere Wahl, es erlaubt zu lassen, da eine korrekte Repräsentation im Modelltraining die Gefahr verringert, mit einem ähnlich benannten Unternehmen verwechselt zu werden.
Das Audit von Seoptist berichtet Ihre Google-Extended-Regel neben denen für GPTBot, ClaudeBot, PerplexityBot und OAI-SearchBot und erklärt, welche Engines jede Regel betrifft und welche nicht.