Glossar
OAI-SearchBot
Kurz gesagt: OAI-SearchBot ist der Crawler von OpenAI zur Indexierung von Seiten, die ChatGPT in suchgestützten Antworten anzeigen und zitieren kann, getrennt von der Trainingsrolle des GPTBot.
OAI-SearchBot ist der User-Agent, mit dem OpenAI den Index hinter der ChatGPT-Suche aufbaut. Wenn ChatGPT eine Frage mit Live-Webergebnissen beantwortet und Quellen auflistet, stammen die Kandidatenseiten aus diesem Index. Er ist von GPTBot zu unterscheiden, der Trainingsdaten sammelt, und von ChatGPT-User, der eine Seite auf Anfrage abruft, wenn ein Nutzer danach fragt.
Diese Unterscheidung gibt Ihnen eine präzise Wahl. Wenn ChatGPT Sie mit einem Link zu Ihrer eigenen Website empfehlen können soll, muss OAI-SearchBot erlaubt sein. Sie können ihn zulassen und gleichzeitig GPTBot sperren, wenn Ihre Inhalte nicht für das Training verwendet werden sollen; die beiden Regeln sind unabhängig voneinander. Ein häufiger Fehler ist eine pauschale Regel „KI-Bots blockieren", die Sie sowohl aus den Suchzitationen als auch aus dem Training entfernt, was ein Unternehmen fast nie beabsichtigt.
OpenAI veröffentlicht die IP-Bereiche für OAI-SearchBot, damit Sie bestätigen können, dass eine Anfrage, die sich als der Bot ausgibt, echt ist, und der Bot respektiert robots.txt. Wie bei jedem Crawler kann eine CDN-Firewall ihn stillschweigend blockieren, prüfen Sie also die Live-Antwort und nicht nur die Datei.
Das Audit von Seoptist prüft die OAI-SearchBot-Regel und die Live-Erreichbarkeit und beobachtet ChatGPT über die offizielle OpenAI-API mit aktivierter Websuche, sodass die gemessenen Zitationen diesen Index widerspiegeln.