GPTBot und KI-Bots per robots.txt steuern

Die Steuerung in einem Satz

Du steuerst den Zugriff von KI-Crawlern vor allem über die robots.txt, eine Textdatei im Wurzelverzeichnis deiner Domain, in der du pro Bot festlegst, welche Bereiche er abrufen darf. Für jeden KI-Bot gibst du eine Regel mit seinem User-Agent-Namen an und erlaubst oder sperrst damit gezielt den Zugriff.

Dieser Artikel behandelt die praktische Umsetzung für KI-Bots. Die Grundlagen der robots.txt (Syntax, Aufbau, Fallstricke) setzt er voraus; sie stehen ausführlich im Artikel robots.txt. Wer wissen will, welche Bots es überhaupt gibt, liest zuerst KI-Crawler und Bots verstehen.

So sieht eine Regel für einen KI-Bot aus

Eine robots.txt-Regel besteht aus einer User-agent-Zeile, die den Bot benennt, und einer oder mehreren Disallow- oder Allow-Zeilen. Willst du zum Beispiel den Trainings-Crawler von OpenAI komplett aussperren:

Umgekehrt erlaubst du ihm mit einer leeren Disallow-Zeile den vollen Zugriff:

Du kannst auch nur bestimmte Bereiche sperren, etwa einen kostenpflichtigen Mitgliederbereich, während der Rest offen bleibt:

Die wichtigsten KI-Bots gezielt ansprechen

Jeder Anbieter hat eigene User-Agent-Namen. Diese Regel etwa nimmt die gängigsten Trainings- und Datensammel-Crawler auf einmal von deiner Seite:

Für Google gilt eine Besonderheit: Der Zugriff fürs KI-Training läuft über das Token Google-Extended. Damit unterbindest du die Trainingsnutzung, ohne deine normale Google-Sichtbarkeit und die AI Overviews zu gefährden:

Wichtig: Google-Extended steuert nur die KI-Trainingsnutzung. Der reguläre Googlebot (und damit dein klassisches Ranking sowie die AI Overviews) bleibt davon unberührt.

Training und Suchsichtbarkeit getrennt steuern

Der entscheidende Kniff für GEO: Viele Anbieter trennen ihre Bots nach Zweck, und diese Trennung kannst du ausnutzen. Bei OpenAI etwa gibt es GPTBot (Training), OAI-SearchBot (Indexierung für ChatGPT Search) und ChatGPT-User (Live-Abruf auf Nutzeranfrage).

Willst du nicht, dass deine Inhalte ins Modelltraining fließen, aber sehr wohl in ChatGPT-Antworten zitiert werden, sperrst du gezielt nur den Trainings-Crawler:

So schützt du deine Inhalte vor der Trainingsverwertung, bleibst aber für die Live-Zitation sichtbar. Genau diese differenzierte Steuerung ist oft die klügere Wahl als ein pauschales Ja oder Nein. Die genauen Bot-Namen ändern sich allerdings. Prüfe sie vor dem Ausrollen in der offiziellen Dokumentation des jeweiligen Anbieters.

Der Trade-off: Sichtbarkeit gegen Content-Schutz

Ob du KI-Bots erlaubst oder sperrst, ist eine strategische Entscheidung mit zwei Polen:

• Für den Zugriff spricht Sichtbarkeit. Wer KI-Crawler aussperrt, kann in den jeweiligen KI-Antworten kaum zitiert werden. Bei Retrieval- und Such-Bots heißt Sperren fast immer: unsichtbar in dieser KI.
• Gegen den Zugriff spricht Kontrolle. Manche Marken wollen nicht, dass ihre einzigartigen Inhalte ins Training einfließen und ohne Gegenleistung reproduziert werden, etwa bei aufwendig erstellten Fachinhalten oder journalistischen Werken.

Die pragmatische Linie für die meisten Website-Betreiber, die auf GEO setzen: Such- und Retrieval-Bots erlauben (sie bringen Sichtbarkeit), bei Trainings-Bots bewusst abwägen. Ein pauschaler Rundumschlag, der alle KI-Bots sperrt, kostet dich verlässlich Reichweite in der KI-Suche.

Wichtig: robots.txt ist eine Bitte, keine Sperre

Ein häufiges Missverständnis: Die robots.txt blockiert technisch nichts. Sie ist eine höfliche Anweisung, an die sich seriöse Anbieter halten. GPTBot, Google-Extended, PerplexityBot und die anderen großen Bots respektieren die Regeln. Ein unseriöser Scraper kann sie aber schlicht ignorieren.

Wenn du Inhalte wirklich technisch schützen musst, brauchst du härtere Mittel: Zugriffsschutz per Login, serverseitige Sperren bestimmter IP-Bereiche oder eine Firewall-Regel. Die robots.txt ist das richtige Werkzeug, um kooperierenden KI-Bots deine Absicht mitzuteilen, nicht mehr, aber auch nicht weniger.

Und noch ein Punkt: Zugriff erlauben ist nur die halbe Miete. Der Bot muss deine Inhalte auch lesen können. Warum viele KI-Crawler an JavaScript scheitern und wie du das vermeidest, behandelt der Artikel Rendering und Zugänglichkeit für KI-Crawler. Alle technischen Schritte bündelt die technische GEO-Basis-Checkliste.

Fazit

Über die robots.txt steuerst du gezielt, welche KI-Bots deine Inhalte abrufen dürfen, mit einer User-agent-Regel pro Bot und Disallow beziehungsweise Allow. Der wichtigste Hebel für GEO ist die Trennung nach Zweck: Trainings-Crawler wie GPTBot oder das Token Google-Extended kannst du sperren, während du Such- und Live-Abruf-Bots erlaubst und so sichtbar bleibst. Wäge dabei Sichtbarkeit gegen Content-Schutz ab. Ein pauschales Blockieren kostet Reichweite. Und behalte im Kopf: robots.txt ist eine Bitte an kooperierende Bots, kein technischer Riegel. Für echten Schutz brauchst du serverseitige Mittel.