Crawling und Indexierung: Wie Google Seiten entdeckt und speichert

Warum Crawling und Indexierung das Fundament sind

Damit eine Seite überhaupt in den Suchergebnissen erscheinen kann, muss Google sie zwei Hürden nehmen lassen: Sie muss gefunden (Crawling) und in den Index aufgenommen (Indexierung) werden. Ohne diesen ersten Schritt ist jede weitere SEO-Maßnahme vergeblich – eine Seite, die Google nicht kennt, kann nicht ranken.

Dieser Artikel ist die technische Vertiefung zum Überblick Wie Suchmaschinen funktionieren. Dort bekommst du das große Bild der drei Phasen Crawling, Indexierung und Ranking. Hier gehen wir tief in die ersten beiden: wie Crawler arbeiten, wie du sie steuerst und wie eine Seite in den Index gelangt – oder eben nicht.

Crawling: die Entdeckungsreise der Bots

Crawling ist der Prozess, bei dem Suchmaschinen das Web nach Inhalten durchsuchen. Erledigt wird das von automatisierten Programmen – den Crawlern (auch Spider oder Bots). Der bekannteste ist der Googlebot. Ihre Aufgabe: neue und aktualisierte Webseiten, Bilder, Videos, PDFs und andere Dateien finden.

Wie das Crawling konkret abläuft

Der Prozess folgt vier Schritten:

1. Ausgangspunkt: Crawler starten von bekannten URLs oder von Adressen, die über die Google Search Console eingereicht wurden. Eine XML-Sitemap ist hier besonders wertvoll, weil sie eine strukturierte Liste der wichtigen URLs liefert.
2. Links folgen: Wie ein Nutzer von Link zu Link klickt, folgt der Crawler den Hyperlinks. Jede neu entdeckte URL wird der Warteschlange hinzugefügt.
3. Inhalte abrufen: Auf einer Seite lädt der Crawler HTML-Code, Texte, Bilder, Metadaten und weitere Elemente herunter.
4. Erste Analyse: Die Informationen werden für den nächsten Schritt – die Indexierung – vorbereitet.

Crawler steuern: die robots.txt

Über die Datei robots.txt im Hauptverzeichnis einer Website (z. B. deinedomain.de/robots.txt) gibst du Crawlern Anweisungen, welche Bereiche sie besuchen dürfen und welche nicht:

• User-agent: * gilt für alle Bots.
• Disallow: sperrt den Zugriff auf die genannten Verzeichnisse.
• User-agent: Googlebot richtet sich gezielt an den Googlebot.
• Allow: erlaubt den Zugriff explizit, selbst wenn ein übergeordneter Ordner gesperrt ist.
• Sitemap: verweist auf den Speicherort der XML-Sitemap.

Wichtig: Die robots.txt ist nur eine Richtlinie. Seriöse Crawler halten sich daran, bösartige Bots ignorieren sie oft. Sensible Bereiche gehören daher zusätzlich hinter einen Passwortschutz. Und eine fehlerhafte Konfiguration kann versehentlich wichtige Seiten vom Crawling ausschließen – ein häufiger, teurer Fehler. Mehr dazu unter Robots.txt.

Crawl-Budget: Effizienz zählt

Suchmaschinen haben nicht unbegrenzt Ressourcen. Das Crawl-Budget bezeichnet die Zahl der URLs, die ein Bot auf einer Website crawlt, bevor er sie verlässt. Bei großen Websites mit tausenden oder Millionen Seiten wird die Optimierung wichtig: Der Crawler soll seine Zeit nicht mit unwichtigen Seiten (etwa Filter- oder Sortier-URLs in Online-Shops) verschwenden, sondern die relevanten Inhalte finden. Über eine saubere robots.txt und eine gute Seitenstruktur nutzt du das Budget effizient. Für kleine Websites ist das Crawl-Budget in der Regel kein Engpass.

Häufige Hindernisse für Crawler

Manchmal kommen Crawler nicht an alle Inhalte. Typische Gründe:

• Login-geschützte Bereiche: Inhalte hinter Anmeldeformularen sind für Crawler unsichtbar.
• Suchformulare: Crawler können keine internen Suchen ausführen – wichtige Inhalte müssen über normale Links erreichbar sein.
• Nicht-textuelle Formate: Text in Bildern oder Videos ist schwer auslesbar. Wichtige Inhalte gehören in den HTML-Code.
• Fehlerhafte Navigation: Rein JavaScript-basierte Menüs ohne Fallback können verhindern, dass alle Seiten entdeckt werden.
• Technische Fehler: Meldet der Server 404 („Nicht gefunden") oder einen 5xx-Serverfehler, kann der Crawler die Seite nicht verarbeiten.

Indexierung: Wissen organisieren

Nach dem erfolgreichen Crawling folgt die Indexierung. Nicht jede gecrawlte Seite landet automatisch im Index – Google prüft erst, ob sie relevant und hochwertig genug ist. Man kann sich den Index wie den Katalog einer gigantischen Bibliothek vorstellen.

Wie die Indexierung funktioniert

• Inhaltsanalyse: Google zerlegt den Seiteninhalt – Texte, Überschriften, Meta-Tags (Title, Description), Bilder samt Alt-Texten und die Struktur –, um Thema und Kontext zu verstehen.
• Rendering: Moderne Seiten werden oft gerendert, also ähnlich wie in einem Browser dargestellt. Google führt JavaScript aus und interpretiert CSS, um zu sehen, wie die Seite für Nutzer aussieht. Dieser Schritt kostet mehr Rechenleistung und erfolgt oft zeitversetzt nach dem Crawling.
• Qualitätsbewertung: Seiten mit sehr wenig Inhalt („Thin Content"), Duplicate Content oder Richtlinienverstößen werden womöglich nicht aufgenommen.
• Speicherung: Wird die Seite als relevant eingestuft, landen die extrahierten Informationen samt URL im Index – zusammen mit Signalen für das spätere Ranking.

Indexierung steuern: Meta-Tags

Ähnlich wie die robots.txt das Crawling steuert, beeinflusst du die Indexierung über Meta-Tags im <head> einer Seite (oder über den HTTP-Header per X-Robots-Tag). Die wichtigsten Anweisungen:

• `index` / `noindex`: Legt fest, ob die Seite in den Index soll. Eine noindex-Seite wird zwar gecrawlt, erscheint aber nicht in den Ergebnissen – ideal für interne Suchergebnisseiten oder Druckversionen.
• `follow` / `nofollow`: Bestimmt, ob der Crawler den Links der Seite folgt und Link-Autorität weitergibt.
• `noarchive`: Verhindert, dass eine zwischengespeicherte Kopie (Cache) angezeigt wird – sinnvoll bei häufig wechselnden Inhalten wie Preisen.

Ein Beispiel für einen Meta-Robots-Tag:

Dieser Tag weist Suchmaschinen an, die Seite nicht zu indexieren, aber den Links auf ihr zu folgen. Wichtig: Damit die Anweisung wirkt, darf die Seite nicht per robots.txt vom Crawling ausgeschlossen sein – der Crawler muss sie besuchen können, um den Tag im <head> zu lesen. Der X-Robots-Tag im HTTP-Header bietet mehr Flexibilität, etwa um PDFs von der Indexierung auszunehmen oder Regeln für ganze Verzeichnisse zu setzen.

Duplicate Content: der Canonical-Tag

Manchmal ist derselbe Inhalt über mehrere URLs erreichbar – durch Druckversionen, Session-IDs oder Parameter. Das verwirrt Suchmaschinen. Der Canonical-Tag (rel="canonical") im <head> verweist auf die bevorzugte URL-Version:

Damit signalisierst du: „Auch wenn dieser Inhalt unter mehreren URLs existiert, ist diese hier die Version, die indexiert und angezeigt werden soll."

Entfernung aus dem Index

Seiten können auch wieder aus dem Index fallen. Gründe sind unter anderem ein Fehlerstatus (4xx/5xx), ein nachträglich gesetzter noindex-Tag, eine manuelle Abstrafung wegen Richtlinienverstoß oder ein neu eingerichteter Passwortschutz. Mit dem URL-Prüftool der Search Console prüfst du den Status einzelner URLs und beantragst bei Bedarf eine erneute Indexierung.

Die Rolle der Google Search Console

Die Google Search Console ist das kostenlose, unverzichtbare Werkzeug, um Crawling und Indexierung im Blick zu behalten:

• Indexabdeckungsbericht: zeigt, welche Seiten indexiert sind, welche Fehler auftraten und warum bestimmte Seiten fehlen.
• URL-Prüftool: prüft Crawling-, Indexierungs- und Rendering-Status einer einzelnen URL.
• Sitemap-Einreichung: hilft Google, alle wichtigen Seiten zu finden.
• Fehlerberichte: melden Crawling-Fehler wie 404er oder Serverfehler.

Fazit

Crawling und Indexierung sind die Mechanismen, mit denen Google das Web entdeckt, versteht und organisiert. Nur wenn beide reibungslos funktionieren, hat eine Seite die Chance zu ranken. Mit sauberer Technik, klarer Struktur, hochwertigen Inhalten und dem gezielten Einsatz von robots.txt, Meta-Tags, Canonical-Tags und Sitemaps hilfst du Suchmaschinen, deine Inhalte optimal zu erfassen. Das ist die Basis jeder erfolgreichen SEO-Strategie – und die Voraussetzung dafür, dass die im Artikel Rankingfaktoren beschriebenen Signale überhaupt zum Tragen kommen.