Zum Inhalt springen
MARCODES
Abstrakte Formen aus Glas und dunklem Papier: eine niedrige Mauer mit einem offenen Durchgang, durch den feine Teilchen ziehen

KI-Crawler und robots.txt: Sollten Sie GPTBot aussperren?

Für die meisten Unternehmenswebsites lautet die Antwort nein: Wer in KI-Antworten genannt werden will, lässt zumindest die Such-Crawler der KI-Anbieter zu. Eine Sperre ist nur für das Training sinnvoll und nur bei Inhalten, die selbst Ihr Geschäft sind, etwa bei Verlagen oder Fachdatenbanken. Die robots.txt trennt beides sauber, technisch erzwingen kann sie die Sperre nicht.

7 min Lesezeit Marketing & SEO

Seit KI-Assistenten Fragen mit Quellenangaben beantworten, entscheidet die robots.txt mit darüber, ob Ihr Unternehmen in diesen Antworten vorkommt. Viele Websites haben GPTBot nach einer Pressemeldung pauschal gesperrt und dabei nicht bemerkt, dass sie damit nur das Training ausschließen, oder umgekehrt mehr gesperrt haben als gewollt. Für die Suchmaschinenoptimierung gehört die Datei deshalb wieder zu den ersten Prüfpunkten.

Überblick

Welche KI-Crawler es gibt und wofür sie sammeln

KI-Crawler gibt es nicht als einheitliche Gruppe: Die großen KI-Anbieter schicken mehrere Crawler, jeweils mit eigenem Namen und eigenem Zweck. Wer pauschal „die KI“ aussperrt, trifft deshalb oft mehr, als er wollte.

Die wichtigsten Namen, wie sie die Anbieter in ihrer Dokumentation nennen:

  • OpenAI: GPTBot sammelt Inhalte für das Training der Modelle. OAI-SearchBot erfasst Seiten für die Suche in ChatGPT. ChatGPT-User ruft Seiten ab, wenn ein Nutzer im Chat danach fragt.

  • Anthropic: ClaudeBot für das Training, Claude-SearchBot für die Suche, Claude-User für Abrufe im Auftrag eines Nutzers.

  • Google: Google-Extended ist kein eigener Crawler, sondern ein Kennzeichen in der robots.txt. Damit steuern Sie, ob Inhalte, die der normale Googlebot erfasst, für das Training und die Antworten von Gemini genutzt werden dürfen. Auf die Google-Suche wirkt es nicht.

  • Perplexity: PerplexityBot für den eigenen Suchindex, Perplexity-User für Abrufe im Auftrag eines Nutzers.

  • Apple: Applebot-Extended steuert, ob Inhalte für das Training von Apples Modellen verwendet werden.

  • Common Crawl: CCBot baut ein frei verfügbares Webarchiv auf, das viele Modelle als Trainingsgrundlage nutzen.

Welche davon Ihre Website tatsächlich besuchen, zeigen die Logfiles des Webservers. Filtern Sie die Zugriffe eines Monats nach den Namen oben. Oft ist das Ergebnis überraschend: Ein kleiner Teil der Crawler verursacht einen großen Teil der Abrufe, und manche Namen tauchen gar nicht auf.

Von der Website führen zwei getrennte Spuren weg, eine gestrichelt zum dunklen Modellblock fürs Training, eine orange zur Antwortplatte.

Zwei Zwecke

Training gegen Antwortsuche unterscheiden

Die entscheidende Frage lautet nicht „KI zulassen oder sperren“, sondern: Wollen Sie, dass Ihre Inhalte in künftige Modelle einfließen, und wollen Sie, dass KI-Suchen Ihre Seiten finden und verlinken? Das sind zwei getrennte Entscheidungen.

Training bedeutet: Ihre Texte werden Teil der Daten, aus denen ein Modell lernt. Das Modell gibt später keinen Link auf Sie aus. Eine Sperre wirkt nur für künftige Sammlungen, bereits erfasste Inhalte bleiben in bestehenden Modellen.

Antwortsuche bedeutet: Ein KI-Assistent sucht bei einer Frage aktuelle Seiten, liest sie und nennt sie als Quelle, oft mit Link. Das ähnelt der klassischen Suchmaschine. Sperren Sie OAI-SearchBot, erscheint Ihre Website laut OpenAI nicht mehr in den Suchantworten von ChatGPT, kann aber weiter als reiner Navigationslink auftauchen. Für Claude-SearchBot und PerplexityBot gilt dasselbe für deren Suchen.

Ein Sonderfall ist Google. Die KI-Übersichten in der Google-Suche, AI Overviews, entstehen aus dem normalen Suchindex des Googlebot. Google-Extended hat darauf keinen Einfluss. Wer dort nicht zitiert werden will, kann nur die Snippet-Steuerung der Google-Suche nutzen. Mit nosnippet entfällt die Textvorschau für die ganze Seite, auch in den normalen Suchergebnissen. Feiner steuern Sie mit dem Attribut data-nosnippet für einzelne Textstellen oder mit max-snippet für eine Höchstlänge.

Daraus folgt eine Faustregel: Wer gefunden werden will, lässt die Such-Crawler zu. Über das Training entscheiden Sie getrennt und nach dem Wert Ihrer Inhalte.

Steuerung

Steuern mit der robots.txt: Regeln und Grenzen

Die Datei robots.txt im Wurzelverzeichnis Ihrer Domain ist der Ort für diese Entscheidungen. Seit 2022 ist das Format als RFC 9309 beschrieben. Eine Regel besteht aus dem Namen des Crawlers und den Pfaden, die er nicht abrufen soll.

Ein Beispiel, das Training sperrt und Suche zulässt:

robots.txt text 
# Training durch KI-Modelle sperren
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

# Alle anderen Crawler, auch die Such-Crawler der KI-Anbieter
User-agent: *
Allow: /

Mehrere User-agent-Zeilen über einer Disallow-Zeile bilden eine gemeinsame Gruppe. OAI-SearchBot, Claude-SearchBot und PerplexityBot stehen nicht in der ersten Gruppe und fallen unter die zweite, ebenso der Googlebot. Gibt es in Ihrer robots.txt schon eine Gruppe für alle Crawler, etwa mit Sperren für den Admin-Bereich, ergänzen Sie nur die erste Gruppe.

Die Grenzen sollten Sie kennen:

  • Freiwilligkeit: robots.txt ist eine Bitte. Seriöse Anbieter halten sich daran, eine technische Sperre ist es nicht. Im August 2025 warf Cloudflare Perplexity vor, Sperren mit nicht deklarierten Crawlern zu umgehen; Perplexity hat das bestritten.

  • Abrufe im Nutzerauftrag: OpenAI weist darauf hin, dass für ChatGPT-User die robots.txt nicht unbedingt gilt, weil ein Mensch den Abruf auslöst.

  • Subdomains: Jede Subdomain braucht eine eigene robots.txt. Eine Regel auf www.beispiel.de gilt nicht für shop.beispiel.de.

  • Verzögerung: Änderungen wirken nicht sofort. OpenAI nennt für die Suche rund 24 Stunden.

Ein häufiges Fehlerbild: Ein Schalter im Content Delivery Network oder in der Firewall, der „KI-Bots blockieren“ verspricht, sperrt auch die Such-Crawler. Die Website verschwindet aus den KI-Suchen, obwohl die robots.txt alles erlaubt. Prüfen Sie deshalb beide Stellen. Wer echte Sperren braucht, setzt sie dort auf Basis der IP-Bereiche, die OpenAI für seine Crawler veröffentlicht, und nicht nur über den Namen, den jeder Absender frei wählen kann.

Neues Format

Was llms.txt ist und was nicht

Die Datei llms.txt ist ein Vorschlag von Jeremy Howard aus dem September 2024. Sie soll im Wurzelverzeichnis in Markdown auflisten, welche Seiten einer Website für Sprachmodelle wichtig sind, mit kurzer Beschreibung. Das Format ist kein Standard eines Normungsgremiums.

Was llms.txt nicht ist:

  • Keine Zugriffssteuerung: Sie kann nichts erlauben oder verbieten. Dafür bleibt die robots.txt zuständig.

  • Kein bestätigtes Rankingsignal: Keiner der großen Anbieter hat öffentlich zugesagt, die Datei bei der Auswahl von Quellen zu nutzen. Google schreibt in seiner Dokumentation zu den KI-Funktionen der Suche ausdrücklich, dass dafür keine neuen maschinenlesbaren Dateien, KI-Textdateien oder besonderes Markup nötig sind.

Sinnvoll ist llms.txt vor allem für Software-Dokumentation, die Entwickler gezielt in ihre KI-Werkzeuge laden. Für eine Unternehmenswebsite ist sie kein Schaden, aber auch keine Priorität. Wichtiger ist, dass Ihre Seiten ohne JavaScript lesbar sind und Begriffe klar erklärt werden, wie im Beitrag Glossar als SEO-Waffe beschrieben.

Empfehlung

Eine Empfehlung je Website-Typ

Die richtige Einstellung hängt davon ab, womit Sie Geld verdienen. Ist der Inhalt selbst das Produkt, schützen Sie ihn. Ist der Inhalt Werbung für etwas anderes, öffnen Sie ihn.

  • Dienstleister und Mittelständler mit Unternehmenswebsite: alles zulassen. Ihre Inhalte sollen Kunden zu Ihnen bringen, auch über KI-Antworten und über das Wissen künftiger Modelle.

  • Onlineshops: Such-Crawler zulassen, Training nach Belieben. Achten Sie auf die Serverlast durch Crawler, die tausende Filterseiten abrufen, und sperren Sie solche Pfade für alle Crawler.

  • Verlage, Fachportale, Kursanbieter: Training sperren, Suche bewusst entscheiden. Eine Nennung mit Link bringt Leser, eine vollständige Antwort ersetzt den Besuch.

  • Portale und interne Bereiche: nicht über robots.txt schützen, sondern über eine Anmeldung. Die robots.txt ist öffentlich und verrät sonst, wo es interessant wird.

Kurz beantwortet

Häufige Fragen

  • Nein. GPTBot sammelt nur für das Training. Für die Suche in ChatGPT ist OAI-SearchBot zuständig. Solange Sie diesen zulassen, kann ChatGPT Ihre Seiten weiter finden und verlinken.

  • Die großen Anbieter sagen das für ihre deklarierten Crawler zu. Technisch erzwingen lässt es sich nicht, und Abrufe im direkten Auftrag eines Nutzers behandeln manche Anbieter anders. Wer Inhalte wirklich schützen muss, braucht eine Anmeldung oder Sperren auf Ebene von Firewall und IP-Adressen.

  • In der Google-Suche geht das mit dem HTML-Attribut data-nosnippet an dem Element, das nicht als Ausschnitt erscheinen soll. Das gilt laut Google für Snippets und KI-Funktionen gleichermaßen, der Rest der Seite bleibt nutzbar. Für die Assistenten anderer Anbieter gibt es keine vergleichbare, dokumentierte Steuerung auf Ebene einzelner Absätze.

  • Nein. Google-Extended steuert laut Google nur die Nutzung für Gemini-Modelle und ist kein Faktor für Aufnahme und Ranking in der Google-Suche. Die Erfassung durch den Googlebot bleibt davon unberührt.

robots.txt und Logfiles prüfen lassen

Wir prüfen, welche Crawler Ihre Website besuchen, und stellen robots.txt und Firewall so ein, dass sie zu Ihren Zielen in der Suche passen.

Zu unserer SEO-Betreuung

Nachweise

Quellen und Stand

Stand: 10.08.2026. Namen und Zwecke der Crawler laut Dokumentation von OpenAI, Anthropic, Google, Perplexity und Apple. Wie Sie Inhalte so schreiben, dass KI-Suchen sie zitieren, beschreibt der spätere Beitrag Generative Engine Optimization.

Artikel teilen