GPTBot und KI-Bots per robots.txt steuern

Die Steuerung in einem Satz

Du steuerst den Zugriff von KI-Crawlern vor allem über die robots.txt – eine Textdatei im Wurzelverzeichnis deiner Domain, in der du pro Bot festlegst, welche Bereiche er abrufen darf. Für jeden KI-Bot gibst du eine Regel mit seinem User-Agent-Namen an und erlaubst oder sperrst damit gezielt den Zugriff.

Dieser Artikel behandelt die praktische Umsetzung für KI-Bots. Die Grundlagen der robots.txt – Syntax, Aufbau, Fallstricke – setzt er voraus; sie stehen ausführlich im Artikel robots.txt. Wer wissen will, welche Bots es überhaupt gibt, liest zuerst KI-Crawler und Bots verstehen.

So sieht eine Regel für einen KI-Bot aus

Eine robots.txt-Regel besteht aus einer User-agent-Zeile, die den Bot benennt, und einer oder mehreren Disallow- oder Allow-Zeilen. Willst du zum Beispiel den Trainings-Crawler von OpenAI komplett aussperren:

Umgekehrt erlaubst du ihm mit einer leeren Disallow-Zeile den vollen Zugriff:

Du kannst auch nur bestimmte Bereiche sperren – etwa einen kostenpflichtigen Mitgliederbereich, während der Rest offen bleibt:

Die wichtigsten KI-Bots gezielt ansprechen

Jeder Anbieter hat eigene User-Agent-Namen. Diese Regel etwa nimmt die gängigsten Trainings- und Datensammel-Crawler auf einmal von deiner Seite:

Für Google gilt eine Besonderheit: Der Zugriff fürs KI-Training läuft über das Token Google-Extended. Damit unterbindest du die Trainingsnutzung, ohne deine normale Google-Sichtbarkeit und die AI Overviews zu gefährden:

Wichtig: Google-Extended steuert nur die KI-Trainingsnutzung. Der reguläre Googlebot – und damit dein klassisches Ranking sowie die AI Overviews – bleibt davon unberührt.

Training und Suchsichtbarkeit getrennt steuern

Der entscheidende Kniff für GEO: Viele Anbieter trennen ihre Bots nach Zweck, und diese Trennung kannst du ausnutzen. Bei OpenAI etwa gibt es GPTBot (Training), OAI-SearchBot (Indexierung für ChatGPT Search) und ChatGPT-User (Live-Abruf auf Nutzeranfrage).

Willst du nicht, dass deine Inhalte ins Modelltraining fließen, aber sehr wohl in ChatGPT-Antworten zitiert werden, sperrst du gezielt nur den Trainings-Crawler:

So schützt du deine Inhalte vor der Trainingsverwertung, bleibst aber für die Live-Zitation sichtbar. Genau diese differenzierte Steuerung ist oft die klügere Wahl als ein pauschales Ja oder Nein. Die genauen Bot-Namen ändern sich allerdings – prüfe sie vor dem Ausrollen in der offiziellen Dokumentation des jeweiligen Anbieters.

Der Trade-off: Sichtbarkeit gegen Content-Schutz

Ob du KI-Bots erlaubst oder sperrst, ist eine strategische Entscheidung mit zwei Polen:

• Für den Zugriff spricht Sichtbarkeit. Wer KI-Crawler aussperrt, kann in den jeweiligen KI-Antworten kaum zitiert werden. Bei Retrieval- und Such-Bots heißt Sperren fast immer: unsichtbar in dieser KI.
• Gegen den Zugriff spricht Kontrolle. Manche Marken wollen nicht, dass ihre einzigartigen Inhalte ins Training einfließen und ohne Gegenleistung reproduziert werden – etwa bei aufwendig erstellten Fachinhalten oder journalistischen Werken.

Die pragmatische Linie für die meisten Website-Betreiber, die auf GEO setzen: Such- und Retrieval-Bots erlauben (sie bringen Sichtbarkeit), bei Trainings-Bots bewusst abwägen. Ein pauschaler Rundumschlag, der alle KI-Bots sperrt, kostet dich verlässlich Reichweite in der KI-Suche.

Wichtig: robots.txt ist eine Bitte, keine Sperre

Ein häufiges Missverständnis: Die robots.txt blockiert technisch nichts. Sie ist eine höfliche Anweisung, an die sich seriöse Anbieter halten – GPTBot, Google-Extended, PerplexityBot und die anderen großen Bots respektieren die Regeln. Ein unseriöser Scraper kann sie aber schlicht ignorieren.

Wenn du Inhalte wirklich technisch schützen musst, brauchst du härtere Mittel: Zugriffsschutz per Login, serverseitige Sperren bestimmter IP-Bereiche oder eine Firewall-Regel. Die robots.txt ist das richtige Werkzeug, um kooperierenden KI-Bots deine Absicht mitzuteilen – nicht mehr, aber auch nicht weniger.

Und noch ein Punkt: Zugriff erlauben ist nur die halbe Miete. Der Bot muss deine Inhalte auch lesen können. Warum viele KI-Crawler an JavaScript scheitern und wie du das vermeidest, behandelt der Artikel Rendering und Zugänglichkeit für KI-Crawler. Alle technischen Schritte bündelt die technische GEO-Basis-Checkliste.

Fazit

Über die robots.txt steuerst du gezielt, welche KI-Bots deine Inhalte abrufen dürfen – mit einer User-agent-Regel pro Bot und Disallow beziehungsweise Allow. Der wichtigste Hebel für GEO ist die Trennung nach Zweck: Trainings-Crawler wie GPTBot oder das Token Google-Extended kannst du sperren, während du Such- und Live-Abruf-Bots erlaubst und so sichtbar bleibst. Wäge dabei Sichtbarkeit gegen Content-Schutz ab – ein pauschales Blockieren kostet Reichweite. Und behalte im Kopf: robots.txt ist eine Bitte an kooperierende Bots, kein technischer Riegel. Für echten Schutz brauchst du serverseitige Mittel.