Crawl-Budget

Das Crawl-Budget ist die praktische Grenze dafür, wie viel von einer Website ein Crawler abruft. Es kombiniert ein Crawl-Rate-Limit (wie schnell der Crawler Seiten anfordern kann, ohne den Server zu belasten) und den Crawl-Bedarf (wie sehr der Crawler diese Seiten will, basierend auf Popularität und Aktualität). Googlebot hat eines; ebenso GPTBot, ClaudeBot, PerplexityBot und OAI-SearchBot, jeder mit eigenen Regeln.

Für kleine Websites mit einigen hundert Seiten ist das Budget selten ein Problem. Es wird zu einem, wenn eine Website viele URLs von geringem Wert erzeugt: facettierte Navigation, Kalenderseiten, Session-Parameter, Infinite Scroll, doppelte Pfade ohne Canonicals oder Weiterleitungsketten. Der Crawler verbraucht sein Kontingent dafür und erreicht oder aktualisiert die Leistungsseiten, die Sie tatsächlich zitiert sehen wollen, womöglich nie.

KI-Crawler können aggressiver sein als Googlebot, was Website-Betreiber dazu verleitet, sie komplett zu sperren. Eine Drosselung über ein CDN oder eine Crawl-delay-Direktive, die manche Bots respektieren, hält Sie erreichbar, ohne die Last.

Möglichkeiten, das Budget zu schützen:

• Weiterleitungsketten und 4xx/5xx-Seiten beheben.
• Canonicals hinzufügen und parametrisierte Duplikate in robots.txt sperren.
• Eine korrekte Sitemap pflegen und verwaiste Seiten entfernen.
• Die Server-Antwortzeit verbessern.

Das Audit von Seoptist (100 Seiten im Starter-Plan, 500 im Growth-Plan und pro Agency-Kunde) führt jeden dieser Punkte als Checklisteneintrag auf.