Crawl-Budget optimieren: mehr Sichtbarkeit für große Websites

Was ist das Crawl-Budget?

Das Crawl-Budget ist die Menge an URLs, die ein Suchmaschinen-Bot wie der Googlebot innerhalb eines bestimmten Zeitraums auf deiner Website crawlen kann und will. Es ist kein fester Wert, sondern das Ergebnis aus zwei Faktoren: dem Crawling-Kapazitätslimit und dem Crawling-Bedarf.

Das Web ist praktisch unendlich groß, deshalb kann Google nicht jede URL ständig neu besuchen. Wie viele Ressourcen Google für deine Website aufwendet, steuert dieses Budget. Wichtig ist der Zusammenhang zum großen Ganzen: Erst wenn eine Seite gecrawlt wurde, kann sie indexiert werden und ranken. Crawling ist damit die Grundlage jeder Sichtbarkeit – auch für Zitate in KI-Systemen wie ChatGPT oder den AI Overviews.

Kapazitätslimit und Bedarf

• Crawling-Kapazitätslimit: Wie viel Crawling deine Website technisch verkraftet, ohne dass der Server leidet. Antwortet die Seite schnell, steigt das Limit. Langsame Antworten oder Serverfehler drosseln es.
• Crawling-Bedarf: Wie oft und dringend Google deine Inhalte crawlen möchte. Beliebte URLs (viele Links) und häufig aktualisierte Inhalte werden öfter besucht. Enthält die Website dagegen viele irrelevante URLs, verpufft das Budget.

Selbst wenn das Kapazitätslimit nicht ausgereizt ist, crawlt Googlebot weniger, wenn der Bedarf gering ist. Und nicht jede gecrawlte Seite wird indexiert: Nach dem Crawling folgen Bewertung, Konsolidierung mit Duplikaten und Analyse.

Für wen ist die Optimierung wichtig?

Crawl-Budget ist kein Thema für jede Website. Relevant wird es vor allem, wenn:

• die Website sehr groß ist (Zehntausende bis Millionen URLs),
• Inhalte sich sehr häufig ändern (täglich neue oder aktualisierte Seiten),
• oder viele minderwertige, doppelte oder fehlerhafte URLs Budget verschwenden.

Für kleinere Websites (unter etwa 10.000 Seiten) mit seltenen Änderungen ist das Budget in der Regel unkritisch – vorausgesetzt, die XML-Sitemap ist aktuell und der Indexierungsstatus wird regelmäßig geprüft. Wird Budget verschwendet, entdeckt Google neue Inhalte später, verzögert die Indexierung und erhält kein vollständiges Bild der Website.

Crawl-Budget überwachen

Bevor du optimierst, musst du verstehen, wie Google deine Website tatsächlich crawlt. Dafür gibt es zwei Wege.

1. Crawling-Statistikbericht der Search Console. Unter „Einstellungen" > „Crawling-Statistiken" zeigt die Google Search Console die durchschnittliche Zahl gecrawlter Seiten pro Tag, die Downloadgröße, die Antwortzeit des Servers und die Hostverfügbarkeit. Die Aufschlüsselung nach Antwortcode (200, 404, 5xx), Dateityp und Zweck deckt Serverüberlastungen oder einen Anstieg von Fehlerseiten auf.

2. Server-Logfiles. Die Logfile-Analyse liefert die genaueste Sicht: welche URLs Googlebot wie oft anfragt, welche Statuscodes er erhält und ob er Zeit auf Parameter-URLs oder Redirect-Schleifen verschwendet. Bei großen Websites lohnen sich spezialisierte Tools wie der Screaming Frog Log File Analyser.

Strategien zur Optimierung

Ziel ist immer dasselbe: Googlebot soll seine Ressourcen auf deine wichtigsten, hochwertigsten Seiten konzentrieren.

1. URL-Inventar verwalten

• Duplikate konsolidieren: Setze Canonical-Tags oder 301-Weiterleitungen, damit Google die bevorzugte Version crawlt und nicht viele ähnliche Seiten. Grundlagen dazu im Artikel Duplicate Content.
• Unnötige URLs blockieren: Interne Suchergebnisse, Filter- und Parameterseiten, Login- oder Warenkorb-Bereiche gehören per robots.txt vom Crawling ausgeschlossen. Achtung: robots.txt verhindert das Crawling, nicht zwingend die Indexierung – für einen Ausschluss aus dem Index brauchst du zusätzlich ein noindex.
• Entfernte Seiten sauber behandeln: Dauerhaft gelöschte Seiten sollten 404 oder 410 liefern. Das signalisiert Google klar, dass ein erneutes Crawling überflüssig ist.
• Soft 404 vermeiden: Seiten, die trotz Fehlerinhalt einen 200 OK senden, werden weiter gecrawlt und kosten Budget.
• Sitemap pflegen: In die XML-Sitemap gehören nur indexierbare, kanonische URLs – keine Weiterleitungen, Fehlerseiten oder noindex-Seiten. Das <lastmod>-Tag hilft bei häufigen Aktualisierungen.
• Redirect-Ketten vermeiden: Mehrere Weiterleitungen hintereinander verlangsamen das Crawling. Idealerweise gibt es nur einen Sprung.

2. Crawling-Effizienz steigern

Je schneller Googlebot eine Seite laden und verarbeiten kann, desto mehr Seiten erfasst er in derselben Zeit.

• Ladezeit optimieren: Schnelle Serverantworten und kurze Rendering-Zeiten erhöhen den Durchsatz. Ansätze findest du unter PageSpeed optimieren.
• Serverstabilität sichern: Häufige 5xx-Fehler oder Timeouts signalisieren, dass die Kapazitätsgrenze erreicht ist – Google drosselt dann.
• Conditional Requests nutzen: Mit 304 Not Modified kann der Server signalisieren, dass sich ein Inhalt seit dem letzten Crawl nicht geändert hat. Das spart Bandbreite auf beiden Seiten.

3. Interne Verlinkung optimieren

Die interne Verlinkung steuert, wie leicht Googlebot wichtige Seiten findet. Verlinke strategisch wichtige und häufig aktualisierte Seiten prominent und halte die Hierarchie flach. Nutze Standard-<a href>-Links – reine JavaScript-Links ohne href sind schwerer zu entdecken. Und weil Google überwiegend die mobile Version indexiert (Mobile-First), muss die mobile Verlinkung genauso vollständig sein wie die Desktop-Variante.

Kann man das Crawl-Budget erhöhen?

Die Optimierung nutzt das vorhandene Budget besser aus – das ist der direkte Hebel. Indirekt lässt sich das zugewiesene Budget aber steigern: Google gibt Websites mit höherer Autorität tendenziell mehr Crawl-Budget. Hochwertiger Linkaufbau und populäre, relevante Inhalte erhöhen die wahrgenommene Wichtigkeit. Der kontrollierbarere Weg bleibt aber, Verschwendung zu vermeiden.

Notfall: Überlastung durch Crawling

Übersteigt das Crawling in seltenen Fällen deine Serverkapazität, empfiehlt Google, vorübergehend 503 Service Unavailable oder 429 Too Many Requests an Googlebot zu senden. Googlebot versucht es dann nach ein bis zwei Tagen erneut. Wichtig: Diese Codes nur kurzfristig einsetzen. Wer sie über Tage sendet, riskiert, dass Google das Crawling dauerhaft reduziert und Seiten aus dem Index fallen.

Mythen und Fakten

Fazit

Crawl-Budget-Optimierung ist vor allem für große und dynamische Websites entscheidend. Es geht nicht darum, Google zu mehr Crawling zu zwingen, sondern seine Aufmerksamkeit auf die relevantesten Inhalte zu lenken: sauberes URL-Inventar, schnelle Technik, klare interne Verlinkung. Mit der Search Console und Logfiles behältst du das tatsächliche Crawl-Verhalten im Blick und legst so die Grundlage für schnelle Indexierung und stabile Sichtbarkeit.