Robots.txt: Crawler steuern und Crawl-Budget schonen

Was ist die robots.txt?

Die robots.txt ist eine einfache Textdatei im Wurzelverzeichnis einer Website (deinedomain.de/robots.txt), die Suchmaschinen-Crawlern Anweisungen gibt, welche Bereiche sie durchsuchen dürfen und welche nicht. Sie folgt dem Robots Exclusion Protocol (REP) und ist die erste Datei, die ein Bot beim Besuch einer Website abruft.

Wichtig gleich vorweg: Die robots.txt steuert das Crawling, nicht die Indexierung. Sie ist kein Mechanismus, um Seiten zuverlässig aus den Google-Ergebnissen fernzuhalten. Eine per robots.txt blockierte Seite kann trotzdem indexiert werden, wenn andere Websites auf sie verlinken – dann erscheint sie meist ohne Beschreibung im Index. Für einen sicheren Ausschluss brauchst du andere Methoden, die wir unter URLs von Google entfernen beschreiben.

Die robots.txt ist eines der Kernwerkzeuge im technischen SEO. Richtig eingesetzt, lenkt sie Crawler auf deine wichtigen Inhalte und schont dein Crawl-Budget.

Warum die robots.txt wichtig ist

Eine korrekt konfigurierte robots.txt bietet mehrere Vorteile:

• Crawling-Prioritäten setzen: Du lenkst Bots auf die wirklich wichtigen Inhalte und schließt irrelevante oder doppelte Bereiche aus. Besonders bei großen Websites mit vielen URLs relevant.
• Crawl-Budget optimieren: Suchmaschinen crawlen nur eine begrenzte Anzahl URLs pro Zeitraum. Wer unwichtige Bereiche ausschließt, nutzt dieses Budget effizienter.
• Serverressourcen schonen: Weniger unnötige Bot-Anfragen bedeuten weniger Serverlast.
• Sitemap-Nutzung unterstützen: Ein Verweis auf die XML-Sitemap hilft Crawlern, alle wichtigen URLs zu finden.

Aufbau und Syntax

Eine robots.txt besteht aus einer oder mehreren Gruppen von Direktiven. Jede Gruppe beginnt mit einer User-agent-Zeile, gefolgt von Disallow- oder Allow-Anweisungen. Die wichtigsten Komponenten:

User-agent – für welchen Crawler die Regeln gelten. * gilt für alle Bots, Googlebot nur für Googles Hauptcrawler.

Disallow – verbietet das Crawlen bestimmter Pfade. Der Pfad ist relativ zum Stammverzeichnis.

Allow – erlaubt gezielt eine URL, auch wenn ein übergeordnetes Verzeichnis gesperrt ist. Wird vor allem von Google und Bing unterstützt. Bei Konflikten gewinnt hier die spezifischere Regel (der längere Pfad).

Sitemap – gibt den vollständigen Pfad zur XML-Sitemap an.

Ein typisches Beispiel für eine WordPress-Seite:

Sonderzeichen

• **Wildcard (*)** steht als Platzhalter für eine beliebige Zeichenfolge. Disallow: /*.pdf$ blockiert alle URLs, die auf .pdf enden.
• Dollarzeichen (`$`) markiert das Zeilenende. Disallow: /verzeichnis$ blockiert /verzeichnis, aber nicht /verzeichnis/unterseite.
• Raute (`#`) leitet einen Kommentar ein, den Crawler ignorieren.

Best Practices

Damit deine robots.txt sauber arbeitet, beachte diese Punkte:

• Korrekter Name und Ort: Die Datei muss exakt robots.txt heißen und im Stammverzeichnis der Domain liegen. Sie wird als UTF-8 gespeichert, am besten ohne Byte Order Mark (BOM).
• CSS und JavaScript nicht blockieren: Moderne Seiten brauchen diese Ressourcen, damit Google sie korrekt rendern kann. Blockierst du sie, versteht Google die Seite womöglich falsch.
• Sitemap-Direktive nutzen: Verweise immer auf deine XML-Sitemap.
• Eine Datei pro (Sub-)Domain und Protokoll: Jede Subdomain und jedes Protokoll (http/https) braucht ihre eigene robots.txt.
• `noindex` gehört nicht in die robots.txt: Diese inoffizielle Direktive wird von Google seit September 2019 vollständig ignoriert. Für einen Indexierungsausschluss nutzt du das Meta-Robots-Tag oder den X-Robots-Tag-HTTP-Header.
• Regelmäßig prüfen: Besonders nach Relaunches oder Server-Migrationen. Ein zu breites Disallow: / aus der Testumgebung kann versehentlich die ganze Website sperren.

Grenzen und Alternativen

Die robots.txt hat klare Limitationen, die du kennen solltest:

• Keine Garantie für Befolgung: Seriöse Crawler halten sich daran, bösartige Bots und Scraper oft nicht. Die robots.txt ist kein Sicherheitsmechanismus.
• Blockierte Seiten können indexiert werden: Wenn andere Seiten auf eine gesperrte URL verlinken, kann Google sie trotzdem in den Index aufnehmen.
• Caching: Google speichert die robots.txt in der Regel bis zu 24 Stunden zwischen. Änderungen wirken also nicht sofort.
• Maximale Größe: Google verarbeitet bis zu 500 KiB; alles darüber kann ignoriert werden.

Für Aufgaben, die über das Crawling-Management hinausgehen, gibt es passendere Werkzeuge: das Meta-Robots-Tag (<meta name="robots" content="noindex">) für den zuverlässigen Ausschluss einzelner HTML-Seiten aus dem Index, der X-Robots-Tag im HTTP-Header für Nicht-HTML-Dateien wie PDFs und der Passwortschutz für wirklich sensible Bereiche.

Robots.txt und KI-Crawler

Mit dem Aufstieg von KI-Modellen sind neue Crawler dazugekommen, die Inhalte für Trainingsdaten oder KI-Antworten sammeln. Viele haben eigene User-Agents, etwa GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot oder Google-Extended (steuert die Nutzung durch Googles KI-Produkte). Diese lassen sich gezielt aussteuern:

Ob jeder KI-Bot diese Anweisungen respektiert, ist nicht garantiert – aber es ist gängige Praxis geworden. Beachte den Zielkonflikt: Wer alle KI-Crawler aussperrt, reduziert womöglich seine Chancen, in KI-Suchsystemen als Quelle zitiert zu werden. Diese Entscheidung gehört zur Strategie, nicht nur zur Technik.

Die robots.txt testen

Der frühere robots.txt-Tester in der Google Search Console wurde Ende 2023 abgeschaltet. So prüfst du deine Datei heute:

• robots.txt-Bericht in der Search Console: Unter den Einstellungen zeigt Google, welche robots.txt zuletzt abgerufen wurde, wann und ob dabei Fehler auftraten.
• URL-Prüfung: Für einzelne URLs zeigt das URL-Prüftool, ob der Googlebot sie crawlen darf oder blockiert ist.
• Externe Validatoren: Diverse SEO-Tools bieten eigene robots.txt-Tester, mit denen du Regeln gegen konkrete URLs simulieren kannst.

Nach jeder Änderung solltest du testen, ob die Regeln greifen wie beabsichtigt – ein einziger Tippfehler kann wichtige Bereiche sperren oder unerwünschte freigeben.

Fazit

Die robots.txt ist ein fundamentales Werkzeug, um zu steuern, wie Crawler deine Website erkunden. Richtig eingesetzt, verbessert sie die Crawl-Effizienz und schont Serverressourcen. Entscheidend ist, ihre Grenzen zu kennen: Sie steuert das Crawling, nicht die Indexierung, und ist keine Sicherheitsmaßnahme. Mit sauberer Syntax, regelmäßigen Tests und dem richtigen Werkzeug für den jeweiligen Zweck wird sie zu einem verlässlichen Baustein deines technischen SEO.