Glossar
GPTBot
Kurz gesagt: GPTBot ist der Web-Crawler von OpenAI, der Inhalte zum Training seiner Modelle sammelt; er ist von OAI-SearchBot und ChatGPT-User zu unterscheiden.
GPTBot ist der User-Agent, mit dem OpenAI öffentliche Webseiten für das Training künftiger Modelle crawlt. Er respektiert robots.txt, identifiziert sich mit einer Zeichenkette, die GPTBot enthält, und veröffentlicht die IP-Bereiche, aus denen er crawlt, damit Website-Betreiber Anfragen verifizieren können.
Er ist einer von drei OpenAI-Agents, und sie erfüllen unterschiedliche Aufgaben:
- GPTBot sammelt Trainingsdaten.
- OAI-SearchBot indexiert Seiten, damit ChatGPT sie in Suchergebnissen anzeigen und zitieren kann.
- ChatGPT-User ruft eine bestimmte Seite auf Anfrage ab, wenn ein Nutzer danach fragt.
Eine Sperre von GPTBot hindert ChatGPT nicht daran, Sie in suchgestützten Antworten zu zitieren, und eine Freigabe garantiert nicht, dass Sie erwähnt werden. Was sie beeinflusst, ist, ob künftige Modelle Ihr Unternehmen aus Ihren eigenen Seiten kennenlernen oder aus Beschreibungen Dritter über Sie.
Viele Websites sperren GPTBot unbeabsichtigt, durch eine vor Jahren hinzugefügte Wildcard-Regel oder die Voreinstellung „KI-Bots blockieren" eines Sicherheits-Plugins. Auch eine CDN-Firewall-Regel kann unabhängig vom Inhalt der robots.txt einen 403 zurückgeben.
Das Audit von Seoptist prüft Ihre robots.txt-Regeln für GPTBot und die anderen wichtigen KI-User-Agents, testet die Live-Antwort und trägt jede Sperre mit den zu ändernden Zeilen in Ihre Checkliste ein.