AI-Suche verändert, wie Ihre Website gefunden wird
ChatGPT, Claude, Perplexity und Googles AI Overviews beantworten Fragen direkt — und zitieren dabei Websites als Quellen. Zwei technische Voraussetzungen können Sie direkt beeinflussen: Dürfen die AI-Crawler Ihre Seiten überhaupt lesen? Und sind die Inhalte für sie technisch zugänglich? Ob eine Seite tatsächlich ausgewählt oder zitiert wird, hängt zusätzlich von den Auswahl- und Ranking-Systemen des jeweiligen Anbieters ab. Diese Seite ordnet die technischen Hebel ein — inklusive der jungen llms.txt-Konvention.
Was ist llms.txt?
llms.txt ist eine Markdown-Datei an der Wurzel Ihrer Website (/llms.txt), analog zu robots.txt oder sitemap.xml. Sie enthält ein kuratiertes Inhaltsverzeichnis für AI-Systeme: der Name Ihrer Website als Überschrift, eine Kurzbeschreibung als Zitatblock, danach Linklisten auf die wichtigsten Seiten — jeweils mit einem Satz dazu, worum es dort geht.
Die Konvention wurde im September 2024 von Answer.AI vorgeschlagen und ist bewusst einfach gehalten: kuratieren statt alles auskippen. Eine gute llms.txt umfasst die 10 bis 30 Seiten, die Ihr Angebot wirklich erklären — nicht die komplette Sitemap.
Ehrliche Einordnung: llms.txt ist eine junge Community-Konvention, kein offizieller Standard. Google hat öffentlich erklärt, die Datei nicht auszuwerten, und die großen AI-Anbieter haben ihre Nutzung nicht zugesagt. Dokumentiert ist der Einsatz heute vor allem bei Entwickler-Werkzeugen wie AI-Code-Editoren und bei Dokumentations-Plattformen. Unsere Empfehlung deshalb: Eine kuratierte Datei ist mit überschaubarem Aufwand umsetzbar und macht Inhalte für solche Werkzeuge leichter zugänglich — ein belegter Effekt auf AI-Suchergebnisse ist damit derzeit aber nicht verbunden. Der direktere technische Hebel ist der Bot-Zugang über robots.txt (unten).
live24h wendet die Konvention selbst an: www.live24h.eu/llms.txt .
Was sind AI-Crawler?
AI-Crawler sind automatisierte Besucher, die Webseiten für AI-Systeme abrufen. Entscheidend ist ihr Zweck — davon hängt ab, was ein Block in robots.txt für Sie bedeutet:
- Suche: baut den Index für AI-Suchantworten und Zitate auf. Ein Block verhindert, dass der betreffende Such-Crawler die Seite dafür erfasst; eine Erlaubnis garantiert jedoch weder Aufnahme noch Zitat.
- Training: sammelt Inhalte für das Training künftiger Modelle. Der Block eines reinen Trainings-Bots sperrt nicht automatisch den getrennten Such-Bot desselben Anbieters.
- Live-Abruf: holt eine Seite in dem Moment, in dem eine Nutzerin oder ein Nutzer konkret danach fragt. Für einige dieser Abrufe gelten robots.txt-Regeln laut Anbieter nicht oder nur eingeschränkt.
Die wichtigsten Bots im Überblick:
| Bot (User-Agent) | Betreiber | Zweck |
|---|---|---|
GPTBot | OpenAI | Training |
OAI-SearchBot | OpenAI | AI-Suche (ChatGPT-Suche) |
ClaudeBot / Claude-SearchBot | Anthropic | Training / AI-Suche |
Googlebot | Websuche inklusive AI Overviews | |
Google-Extended | Steuer-Token: Opt-out für Gemini-Training sowie Gemini-/Vertex-Grounding (kein eigener Crawler) | |
PerplexityBot | Perplexity | AI-Suche |
Bingbot | Microsoft | Websuche inklusive Copilot-Antworten |
Die Tabelle beschreibt die dokumentierten Zwecke der User-Agent-Tokens. Ob ein Anbieter die robots.txt-Regeln in jedem Fall einhält, ist davon getrennt zu betrachten; insbesondere Live-Abrufe können abweichen.
Warum robots.txt der direktere technische Hebel ist
robots.txt funktioniert für Bots, die diese Regeln befolgen, als Opt-out: Nicht eingeschränkte Bots dürfen crawlen. Für Ihre AI-Sichtbarkeit heißt das:
- Such-Bots blocken schränkt die Auffindbarkeit ein. Wer
OAI-SearchBot,Claude-SearchBot,PerplexityBot,GooglebotoderBingbotaussperrt, verhindert die Erfassung über den jeweiligen Such-Crawler. Ohne Block besteht umgekehrt keine Garantie auf Aufnahme oder Zitat. - Reine Trainings-Bots zu blocken ist eine legitime Abwägung. Ein Block von
GPTBot,ClaudeBotoder ein Opt-out überGoogle-Extendedsperrt nicht automatisch die getrennten Such-Crawler — hier entscheiden Sie bewusst über die Nutzung für Training beziehungsweise Grounding. - Ein häufiges Konfigurationsrisiko sind kopierte Blocklisten, die unbeabsichtigt Such-Bots mit aussperren, oder ein pauschales
Disallow: /. Beides kann die Auffindbarkeit in klassischer und AI-gestützter Suche einschränken.
Prüfen Sie deshalb gezielt, welche Bots Ihre robots.txt trifft — und ob das Ihrer Absicht entspricht.
So hilft live24h
Der SEO-Check prüft technische Signale der AI-Zugänglichkeit. live24h überwacht robots.txt, Meta-Robots und Canonical-URLs Ihrer wichtigsten Seiten — und schaut dabei auch auf die AI-Perspektive: Ist eine llms.txt vorhanden und plausibel aufgebaut? Blockt Ihre robots.txt AI-Bots, und wenn ja: Such-Bots (Risiko für die Auffindbarkeit) oder Trainings-Bots (bewusste Entscheidung)? Die Ergebnisse erscheinen als Hinweise mit Einordnung, ohne Ihren Check-Status zu verschlechtern. Wie Sie SEO-Checks einrichten, zeigt die Anleitung zu SEO-Checks .
Das WordPress-Plugin legt Ihre llms.txt an. Das live24h-Plugin für WordPress erzeugt eine kuratierte llms.txt direkt aus Ihren Site-Informationen — Titel, Beschreibung, wichtigste Seiten — und respektiert dabei vorhandene Dateien, statt sie zu überschreiben. Die Einrichtung beschreibt die Plugin-Anleitung für WordPress .
So bleibt die Entscheidung bei Ihnen: technische Auffindbarkeit ermöglichen, Trainings-Nutzung bewusst steuern — und beides regelmäßig prüfen.