AI-crawlers & llms.txt: zichtbaar blijven in AI-antwoorden

AI-zoeken verandert hoe uw website gevonden wordt

ChatGPT, Claude, Perplexity en Googles AI Overviews beantwoorden vragen rechtstreeks — en citeren daarbij websites als bron. U kunt twee technische voorwaarden direct beïnvloeden: mogen AI-crawlers uw pagina’s lezen en is de content technisch toegankelijk voor hen? Of een pagina daadwerkelijk wordt geselecteerd of geciteerd, hangt daarnaast af van de selectie- en rankingsystemen van de aanbieder. Deze pagina legt de technische instellingen uit — inclusief de jonge llms.txt-conventie.

Wat is llms.txt?

llms.txt is een Markdown-bestand in de root van uw website (/llms.txt), vergelijkbaar met robots.txt of sitemap.xml. Het bevat een gecureerde inhoudsopgave voor AI-systemen: de naam van uw site als kop, een korte beschrijving als citaat en daarna linklijsten naar uw belangrijkste pagina’s — elk met één zin over waar die over gaat.

De conventie werd in september 2024 voorgesteld door Answer.AI en is bewust eenvoudig gehouden: cureren in plaats van alles dumpen. Een goede llms.txt omvat de 10 tot 30 pagina’s die uw aanbod echt uitleggen — niet de volledige sitemap.

Eerlijke inschatting: llms.txt is een jonge community-conventie, geen officiële standaard. Google heeft publiekelijk verklaard het bestand niet uit te lezen, en de grote AI-aanbieders hebben het gebruik ervan niet toegezegd. Gedocumenteerd gebruik is vandaag vooral te vinden bij ontwikkelaarstools zoals AI-code-editors en bij documentatieplatforms. Ons advies daarom: een gecureerd bestand is met beperkte inspanning te maken en maakt content beter toegankelijk voor zulke tools — maar een bewezen effect op AI-zoekresultaten is er op dit moment niet. De directere technische hefboom is bot-toegang via robots.txt (hieronder).

live24h past de conventie zelf toe: www.live24h.eu/llms.txt .

Wat zijn AI-crawlers?

AI-crawlers zijn geautomatiseerde bezoekers die webpagina’s ophalen voor AI-systemen. Bepalend is hun doel — daarvan hangt af wat een blokkade in robots.txt voor u betekent:

• Zoeken: bouwt de index voor AI-zoekantwoorden en citaten op. Een blokkade voorkomt dat de betreffende zoekcrawler de pagina daarvoor verzamelt; toestemming garandeert geen opname of citaat.
• Training: verzamelt content voor het trainen van toekomstige modellen. Het blokkeren van een aparte trainingsbot blokkeert niet automatisch de afzonderlijke zoekbot van dezelfde aanbieder.
• Live ophalen: haalt een pagina op wanneer een gebruiker er concreet naar vraagt. Volgens aanbieders gelden robots.txt-regels mogelijk niet, of slechts gedeeltelijk, voor sommige van deze verzoeken.

De belangrijkste bots in één oogopslag:

De tabel beschrijft de gedocumenteerde doelen van deze user-agent-tokens. Of een aanbieder robots.txt in alle gevallen volgt, is een afzonderlijke vraag; met name live verzoeken kunnen zich anders gedragen.

Waarom robots.txt de directere technische hefboom is

Voor bots die de regels volgen, werkt robots.txt als opt-out: bots die daar niet worden beperkt, mogen crawlen. Voor uw AI-zichtbaarheid betekent dat:

• Zoekbots blokkeren beperkt de vindbaarheid. Wie OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot of Bingbot buitensluit, voorkomt verzameling via de betreffende zoekcrawler. Toestemming garandeert omgekeerd geen opname of citaat.
• Aparte trainingsbots blokkeren is een legitieme afweging. Het blokkeren van GPTBot, ClaudeBot of een opt-out via Google-Extended blokkeert niet automatisch de afzonderlijke zoekcrawlers — hier beslist u bewust over gebruik voor training of grounding.
• Een veelvoorkomend configuratierisico zijn gekopieerde bloklijsten die onbedoeld ook zoekbots buitensluiten, of een generieke Disallow: /. Beide kunnen de vindbaarheid in traditionele en AI-ondersteunde zoekresultaten beperken.

Controleer daarom gericht welke bots uw robots.txt raakt — en of dat met uw bedoeling overeenkomt.

Zo helpt live24h

De SEO-check dekt ook technische signalen voor AI-toegang. live24h bewaakt robots.txt, meta robots en canonical-URL’s van uw belangrijkste pagina’s — en kijkt daarbij ook naar het AI-perspectief: is er een llms.txt aanwezig en plausibel opgebouwd? Blokkeert uw robots.txt AI-bots, en zo ja: zoekbots (risico voor de vindbaarheid) of trainingsbots (bewuste keuze)? De resultaten verschijnen als aanwijzingen met duiding, zonder uw check-status te verslechteren. Hoe u SEO-checks instelt, leest u in de handleiding SEO-checks .

De WordPress-plugin maakt uw llms.txt aan. De live24h-plugin voor WordPress genereert een gecureerde llms.txt rechtstreeks uit uw site-informatie — titel, beschrijving, belangrijkste pagina’s — en respecteert bestaande bestanden in plaats van ze te overschrijven. De installatie staat beschreven in de plugin-handleiding voor WordPress .

Zo blijft de beslissing bij u: technische vindbaarheid mogelijk maken, trainingsgebruik bewust sturen en beide regelmatig controleren.