Darf die KI Ihre Seite lesen?
Ob ChatGPT, Claude, Perplexity oder Google Ihre Seite lesen dürfen, steht in einer kleinen Textdatei: der robots.txt. Fügen Sie ihren Inhalt unten ein. Der Prüfer zeigt für 23 Kennungen, wer lesen darf, wer nicht und welche Regel dafür gilt.
KI-Signale gehört zur Haravyn LLC. Unsere Marke AI Agency prüft den Zugang für KI-Crawler als Teil ihrer Arbeit. Dieser Prüfer funktioniert ohne uns: Die Seite lädt nichts nach und sendet nichts, die Auswertung läuft nur in Ihrem Browser.
- Rufen Sie in einem neuen Fenster Ihre Adresse mit dem Zusatz /robots.txt auf, zum Beispiel ihre-firma.de/robots.txt.
- Kopieren Sie den ganzen Text und fügen Sie ihn in das Feld unten ein.
- Lesen Sie die Tafel: Ergebnis je Crawler, dazu die Regel, aus der es folgt.
Ihre robots.txt, ausgewertet
Gibt es auf Ihrer Seite keine robots.txt, dürfen alle Crawler alles lesen. Ein leeres Feld zeigt deshalb nichts an, bis Sie Text einfügen oder ein Beispiel laden.
Geladen: ein Beispiel, keine echte Datei. Der Text bleibt in diesem Fenster. Die Seite lädt nichts nach und überträgt nichts.
Noch nichts eingefügt.
| Crawler · Betreiber | Zweck | Ergebnis für Ihre Datei |
|---|---|---|
| GPTBotOpenAI | Training | Noch nicht geprüft |
| OAI-SearchBotOpenAI | Suche | Noch nicht geprüft |
| ChatGPT-UserOpenAI | Abruf auf NutzerwunschFolgt der robots.txt laut Betreiber nicht immer | Noch nicht geprüft |
| ClaudeBotAnthropic | Training | Noch nicht geprüft |
| Claude-SearchBotAnthropic | Suche | Noch nicht geprüft |
| Claude-UserAnthropic | Abruf auf Nutzerwunsch | Noch nicht geprüft |
| PerplexityBotPerplexity | Suche | Noch nicht geprüft |
| Perplexity-UserPerplexity | Abruf auf NutzerwunschFolgt der robots.txt laut Betreiber in der Regel nicht | Noch nicht geprüft |
| GooglebotGoogle | Suche | Noch nicht geprüft |
| Google-ExtendedGoogle | Steuerkennung | Noch nicht geprüft |
| ApplebotApple | Suche | Noch nicht geprüft |
| Applebot-ExtendedApple | Steuerkennung | Noch nicht geprüft |
| Meta-ExternalAgentMeta | Training | Noch nicht geprüft |
| Meta-WebIndexerMeta | Suche | Noch nicht geprüft |
| Meta-ExternalFetcherMeta | Abruf auf NutzerwunschFolgt der robots.txt laut Betreiber nicht immer | Noch nicht geprüft |
| AmazonbotAmazon | Training | Noch nicht geprüft |
| Amzn-SearchBotAmazon | Suche | Noch nicht geprüft |
| Amzn-UserAmazon | Abruf auf NutzerwunschFolgt der robots.txt laut Betreiber nicht immer | Noch nicht geprüft |
| CCBotCommon Crawl | Offenes Archiv | Noch nicht geprüft |
| DuckAssistBotDuckDuckGo | Suche | Noch nicht geprüft |
| MistralAI-TrainingMistral AI | Training | Noch nicht geprüft |
| MistralAI-IndexMistral AI | Suche | Noch nicht geprüft |
| MistralAI-UserMistral AI | Abruf auf Nutzerwunsch | Noch nicht geprüft |
So rechnet der Prüfer: Er sucht die Gruppe, deren User-agent die Kennung nennt (Groß- und Kleinschreibung zählt nicht), und fasst mehrere solche Gruppen zusammen. Fehlt sie, gilt die Gruppe *; für Applebot gelten laut Apple zuerst die Regeln für Googlebot. Je Pfad entscheidet die längste passende Regel, bei Gleichstand Allow. „Teilweise gesperrt“ heißt: Einige Pfade sind gesperrt, andere nicht. Grundlage ist RFC 9309, Abschnitt 2.2. Der Prüfer liest nur die robots.txt, keine Meta-Angaben im Seitenquelltext.
23 Kennungen, jede mit Beleg
Aufgenommen ist nur, wessen Name und Zweck der Betreiber selbst dokumentiert. Die Zwecke lassen sich in fünf Arten teilen:
- Training
- Sammelt Inhalte, die in das Training von KI-Modellen eingehen können.
- Suche
- Liest Seiten für einen Suchindex, aus dem Antworten und Links entstehen.
- Abruf auf Nutzerwunsch
- Ruft eine Seite auf, weil ein Mensch gerade danach fragt. Folgt der robots.txt nicht bei jedem Anbieter.
- Steuerkennung
- Crawlt nicht selbst. Die Kennung regelt nur, wofür bereits gesammelte Daten verwendet werden.
- Offenes Archiv
- Legt einen frei zugänglichen Bestand an Webdaten an, den andere weiterverwenden.
| Kennung | Zweck | Laut Betreiber | Beleg |
|---|---|---|---|
| GPTBotOpenAI | Training | Sammelt Inhalte, die für das Training der KI-Grundmodelle von OpenAI verwendet werden können. Eine Sperre zeigt an, dass die Inhalte nicht ins Training sollen. | OpenAI, Overview of OpenAI Crawlers |
| OAI-SearchBotOpenAI | Suche | Für die Suche in ChatGPT. Laut OpenAI erscheinen Seiten, die diesen Crawler sperren, nicht in den Suchantworten von ChatGPT. Unabhängig von GPTBot einstellbar. | OpenAI, Overview of OpenAI Crawlers |
| ChatGPT-UserOpenAI | Abruf auf Nutzerwunsch | Ruft eine Seite auf, wenn ein Nutzer in ChatGPT danach fragt. Laut OpenAI gelten die Regeln der robots.txt hier womöglich nicht, weil ein Nutzer den Abruf auslöst. | OpenAI, Overview of OpenAI Crawlers |
| ClaudeBotAnthropic | Training | Sammelt Inhalte für das Training der Modelle von Anthropic. Eine Sperre zeigt an, dass künftige Inhalte nicht ins Training sollen. | Anthropic, Hilfeartikel zu den Crawlern |
| Claude-SearchBotAnthropic | Suche | Liest Inhalte, um Suchantworten von Claude zu verbessern. Laut Anthropic kann eine Sperre die Sichtbarkeit in diesen Antworten verringern. | Anthropic, Hilfeartikel zu den Crawlern |
| Claude-UserAnthropic | Abruf auf Nutzerwunsch | Ruft eine Seite auf, wenn ein Nutzer Claude eine Frage stellt, die das erfordert. Anthropic gibt an, die robots.txt für seine Crawler zu beachten. | Anthropic, Hilfeartikel zu den Crawlern |
| PerplexityBotPerplexity | Suche | Zeigt Seiten in den Suchergebnissen von Perplexity an und verlinkt sie. Laut Perplexity nicht für das Training von KI-Grundmodellen. | Perplexity, Perplexity Crawlers |
| Perplexity-UserPerplexity | Abruf auf Nutzerwunsch | Ruft eine Seite auf, wenn ein Nutzer fragt. Laut Perplexity übergeht dieser Abruf die robots.txt in der Regel, weil ein Nutzer ihn auslöst. | Perplexity, Perplexity Crawlers |
| GooglebotGoogle | Suche | Der Hauptcrawler der Google-Suche samt ihrer Funktionen. Eine Seite, die in KI-Übersicht oder KI-Modus als Link erscheinen soll, muss laut Google indexiert und mit Snippet anzeigbar sein. Wer Googlebot sperrt, fehlt also auch dort. | Google, Liste der allgemeinen Crawler Google, KI-Funktionen und Ihre Website |
| Google-ExtendedGoogle | Steuerkennung | Crawlt nicht selbst. Die Kennung steuert, ob gecrawlte Inhalte für das Training von Gemini-Modellen und für Grounding in Gemini-Apps und Vertex AI genutzt werden. Laut Google ohne Einfluss auf die Aufnahme in die Google-Suche und kein Rankingsignal. | Google, Liste der allgemeinen Crawler |
| ApplebotApple | Suche | Für Suchfunktionen in Spotlight, Siri und Safari. Laut Apple können die Daten auch zum Training von Apples Grundmodellen dienen. Ist Applebot nicht erwähnt, folgt er den Regeln für Googlebot. | Apple, About Applebot |
| Applebot-ExtendedApple | Steuerkennung | Crawlt nicht selbst. Die Kennung bestimmt, wie Apple die von Applebot gesammelten Daten verwendet, etwa für das Training. Seiten, die sie sperren, können laut Apple weiter in Suchergebnissen erscheinen. | Apple, About Applebot |
| Meta-ExternalAgentMeta | Training | Laut Meta für Zwecke wie das Training von KI-Grundmodellen oder die Verbesserung von Produkten durch direkte Indexierung. | Meta, Web-Crawler |
| Meta-WebIndexerMeta | Suche | Verbessert laut Meta die Suchergebnisse von Meta AI. Wer ihn zulässt, kann in Antworten von Meta AI zitiert und verlinkt werden. | Meta, Web-Crawler |
| Meta-ExternalFetcherMeta | Abruf auf Nutzerwunsch | Ruft einzelne Links auf Wunsch eines Nutzers ab. Laut Meta kann er die robots.txt deshalb übergehen. | Meta, Web-Crawler |
| AmazonbotAmazon | Training | Verbessert laut Amazon Produkte und Dienste. Die Daten können zum Training von KI-Modellen von Amazon verwendet werden. | Amazon, Amazonbot |
| Amzn-SearchBotAmazon | Suche | Für Sucherlebnisse in Produkten von Amazon. Laut Amazon vom Training generativer KI ausgenommen. | Amazon, Amazonbot |
| Amzn-UserAmazon | Abruf auf Nutzerwunsch | Unterstützt Nutzeraktionen, etwa Antworten von Alexa, die aktuelle Angaben brauchen. Laut Amazon folgt er womöglich nicht allen Regeln der robots.txt. | Amazon, Amazonbot |
| CCBotCommon Crawl | Offenes Archiv | Crawler der gemeinnützigen Common Crawl, die ein offenes Archiv von Webdaten anlegt, das jeder nutzen kann. | Common Crawl, CCBot |
| DuckAssistBotDuckDuckGo | Suche | Ruft Seiten in Echtzeit für die KI-Antworten von DuckDuckGo ab, die ihre Quellen zeigen. Laut DuckDuckGo nicht für das Training von KI-Modellen. | DuckDuckGo, DuckAssistBot |
| MistralAI-TrainingMistral AI | Training | Sammelt Inhalte für Datensätze zum Training der Modelle von Mistral AI. | Mistral AI, Mistral crawlers |
| MistralAI-IndexMistral AI | Suche | Crawlt für den Suchindex von Mistral AI, der Antworten in den Diensten von Mistral speist. Laut Mistral nicht für das Training. | Mistral AI, Mistral crawlers |
| MistralAI-UserMistral AI | Abruf auf Nutzerwunsch | Ruft eine Seite auf, wenn ein Nutzer in einem Dienst von Mistral eine Frage stellt, und verlinkt die Quelle. Laut Mistral nicht für das Training. | Mistral AI, Mistral crawlers |
Alle Angaben nach der Dokumentation der Betreiber, Stand 15.11.2026. Microsoft nennt in seinem Beitrag vom 22.09.2023 keine eigene Kennung für die KI-Antworten von Bing; die Nutzung in diesen Antworten steuerte Bing damals über die Meta-Angaben NOCACHE und NOARCHIVE im Seitenquelltext (Bing Webmaster Blog). Eine aktuelle Dokumentation dazu konnten wir nicht abrufen, deshalb fehlt Microsoft in der Tafel.
Was die robots.txt nicht leistet
- Sie ist eine Bitte, keine Sperre. Das Protokoll sagt es selbst: Die Regeln sind keine Form der Zugriffsberechtigung (RFC 9309, Abschnitt 1). Seriöse Betreiber halten sich daran; erzwingen lässt es sich mit dieser Datei nicht.
- Abrufe auf Nutzerwunsch folgen ihr nicht überall. Laut OpenAI gelten die Regeln für ChatGPT-User womöglich nicht, laut Perplexity übergeht Perplexity-User sie in der Regel, Meta und Amazon sagen Ähnliches für ihre Abrufe. Anthropic gibt an, die robots.txt für seine Crawler zu beachten.
- Sperren an anderer Stelle sieht der Prüfer nicht. Eine Firewall, ein Auslieferungsnetz oder ein Schutzdienst kann Crawler abweisen, obwohl die robots.txt sie erlaubt. Google nennt deshalb ausdrücklich beides: Das Crawlen soll in der robots.txt und bei jeder Auslieferungs- oder Hosting-Infrastruktur erlaubt sein (Google). Prüfen Sie im Zweifel die Einstellungen Ihres Hosters.
- Jede Kennung wirkt anders. Wer GPTBot sperrt, widerspricht dem Training, bleibt aber für die Suche in ChatGPT erreichbar, solange OAI-SearchBot erlaubt ist (OpenAI). Google-Extended regelt Training und Grounding für Gemini, aber laut Google nicht die Aufnahme in die Google-Suche. Wer dagegen Googlebot sperrt, fehlt in der Suche und damit auch als Link in der KI-Übersicht.
- Änderungen brauchen Zeit. OpenAI, Perplexity, Meta und Amazon nennen rund 24 Stunden, bis eine geänderte robots.txt wirkt; DuckDuckGo nennt 72 Stunden.
- Was schon gelesen ist, bleibt gelesen. Eine Sperre gilt für künftige Abrufe. Anthropic formuliert es so, dass eine Sperre von ClaudeBot künftige Inhalte vom Training ausnimmt.
Belege für jede Aussage über einen Anbieter stehen in der Tafel oben beim jeweiligen Crawler. Keine Rechtsberatung.
Welche Einstellung zu welchem Ziel passt
Die Datei ist eine Entscheidung, keine Technikfrage. Drei typische Haltungen, als Beispiel:
Gefunden werden, auch im Training
Alle Kennungen erlaubt. Ihre Inhalte können ins Training eingehen und in Suchantworten erscheinen. Für Unternehmen, die vor allem bekannt werden wollen.
Gefunden werden, nicht trainiert
Suchcrawler und Abrufe erlaubt, Trainingskennungen gesperrt, etwa GPTBot, ClaudeBot, Google-Extended, Applebot-Extended. Ihre Seite bleibt in Suchantworten erreichbar, soweit der Betreiber Suche und Training trennt.
Nicht gelesen werden
Alle KI-Kennungen gesperrt. Folge: Ihre Seite fällt als Quelle für diese Systeme weitgehend aus. Abrufe auf Nutzerwunsch können trotzdem stattfinden.
Unsere Einordnung. Welche Haltung passt, hängt davon ab, ob Ihre Inhalte das Produkt sind, etwa bei einem Verlag, oder ob sie Kunden zu Ihrem Produkt führen sollen.
Fragen zum Crawler-Prüfer
Wie finde ich meine robots.txt?
Hängen Sie an Ihre Adresse /robots.txt an, zum Beispiel ihre-firma.de/robots.txt, und rufen Sie sie im Browser auf. Erscheint eine Fehlerseite, gibt es keine Datei. Dann dürfen alle Crawler alles lesen, was öffentlich erreichbar ist.
Welche KI-Crawler sollte ich erlauben?
Wenn Ihr Unternehmen in KI-Antworten vorkommen soll, mindestens die Suchcrawler, etwa OAI-SearchBot, Claude-SearchBot und PerplexityBot, und Googlebot für die Google-Suche samt KI-Übersicht. Ob Sie auch Trainingskennungen wie GPTBot oder Google-Extended erlauben, ist eine eigene Entscheidung.
Was bedeutet „nicht erwähnt“?
Die Kennung kommt in Ihrer robots.txt nicht vor. Dann gilt für sie die Gruppe für alle Crawler, „User-agent: *“. Steht dort nichts, darf sie alles lesen. Für Applebot gelten laut Apple zuerst die Regeln für Googlebot, wenn Applebot selbst nicht erwähnt ist.
Speichert oder sendet der Prüfer meine Datei?
Nein. Die Auswertung läuft vollständig in Ihrem Browser. Die Seite lädt nichts nach, sendet nichts und setzt keine Cookies. Nach dem Schließen des Fensters ist der Text weg.
Warum zeigt der Prüfer „erlaubt“, obwohl die KI meine Seite nicht findet?
Weil die robots.txt nur eine von mehreren Stellen ist. Eine Firewall oder ein Schutzdienst kann Crawler abweisen, eine Seite kann fehlen, weil sie nicht im Index steht, und eine erlaubte Seite muss deshalb noch nicht genannt werden. Welche Namen eine Antwort nennt, entscheidet das System.
Wenn Sie es gründlich wissen wollen
Der kostenlose GEO-Audit.
Der Zugang für Crawler ist eine Voraussetzung, kein Ergebnis. Der GEO-Audit von AI Agency, der GEO-Agentur unseres Hauses, zeigt, ob KI-Assistenten Ihr Unternehmen auf die Fragen Ihrer Kunden nennen, wer statt Ihnen genannt wird und was zuerst zu tun ist. Eine Nennung sagt AI Agency nicht zu.
- Kostenfrei
- Für Ihr Unternehmen erstellt
- Ohne Verpflichtung
Öffnet aiagency.io