Is je website klaar voor AI-agents? Ik checkte 300 Nederlandse websites

Jarenlang had je website één soort bezoeker: een mens (als we de crawlers van zoekmachines even niet meerekenen). Met de opkomst van AI is daar verandering in gekomen. AI-agents bezoeken je website op zoek naar informatie: als ChatGPT, Claude of Perplexity iets opzoeken voor een antwoord, sturen ze een bot om je pagina op te halen en te lezen. Met een beetje geluk (en wijsheid) word je daarna genoemd of geciteerd in de antwoorden die die AI-modellen geven.

Maar dan moet je website wel toegankelijk zijn voor AI-agents. En dat is minder vanzelfsprekend dan het klinkt.

AI-agents kunnen op verschillende manieren belemmerd worden om je website te bereiken en te lezen. Daarnaast zijn er een aantal methoden die je website aantrekkelijker zouden maken voor AI-bots, zoals llms.txt en Markdown-versies van je pagina's. Maar welke doen er echt toe?

Daarom bouwde ik een gratis AI Agent Checker en gebruikte die op 300 Nederlandse websites: 150 die AI-platforms citeren als mensen in het Nederlands iets vragen, en 150 willekeurig gekozen. Hieronder lees je de uitkomsten, wat ze betekenen voor jouw website, en wat ik op mijn eigen site veranderde.

Hoe maak je jouw website klaar voor AI-agents?

Om klaar te zijn voor AI-agents moet een bedrijfswebsite of contentsite aan drie belangrijke voorwaarden voldoen:

1. De bots worden toegelaten. robots.txt en de server laten de bots door die pagina's ophalen voor AI-antwoorden, zoals OAI-SearchBot en ChatGPT-User van OpenAI, Claude-SearchBot en Claude-User van Anthropic, en PerplexityBot en Perplexity-User.
2. De content staat in de HTML. Onderzoek van Vercel en MERJ liet zien dat de grote AI-crawlers geen JavaScript uitvoeren. Tekst die pas verschijnt als scripts draaien, zien ze niet.
3. Niets vertelt ze de pagina te negeren. Een noindex-tag, een canonical tag die naar een andere pagina wijst of een reeks redirects kan een pagina uit zoekindexen houden, en daarmee uit veel AI-antwoorden.

Webshops en diensten waarop agents moeten inloggen of betalen, hebben meer werk, zoals betaalprotocollen of een MCP-server. Voor de meeste websites is dat nog niet van toepassing.

Bots voor AI-antwoorden zijn iets anders dan bots voor modeltraining. GPTBot en ClaudeBot verzamelen content om modellen te trainen. Als je die blokkeert, blijf je gewoon zichtbaar in de antwoorden van ChatGPT of Claude; blokkeer je OAI-SearchBot of Claude-SearchBot, dan niet. OpenAI, Anthropic en Perplexity beschrijven hun bots zelf: OpenAI, Anthropic, Perplexity.

Hoe heb ik 300 Nederlandse websites getest?

Ik vergeleek twee groepen:

• Websites die AI citeert (150). De domeinen die het vaakst als bron stonden in Nederlandstalige antwoorden in mijn onderzoek naar de bronnen die AI in Nederland gebruikt, met antwoorden van ChatGPT, Claude, Gemini en Google AI Mode. Vooral bedrijven en merken, vergelijkingssites, webshops en media.
• Willekeurige Nederlandse websites (150). Een willekeurige steekproef van .nl-domeinen uit de top 300.000 van de Tranco-lijst, een onderzoeksranglijst van populaire websites.

In november 2026 haalde de check elke homepage op als gewone browser en als acht AI-bots, en las robots.txt voor die bots plus Googlebot, Bingbot en Google-Extended. Ik testte 147 van de geciteerde websites en 125 van de willekeurige; de rest reageerde niet of bestond niet meer. Elke blokkade door de server checkte ik een tweede keer, en ik telde alleen blokkades die opnieuw optraden.

Wat kwam er uit de test?

*Eén geciteerde website leek in robots.txt elke bot te blokkeren, ook Googlebot. Toen ik het bestand opnieuw ophaalde met een gewone browser, stond het ze toe: de firewall had het verzoek om robots.txt beantwoord. Ik tel dit als een blokkade door de firewall, niet door robots.txt.

Bijna geen enkele website blokkeert AI-bots in robots.txt

Veel adviezen over AI-zichtbaarheid beginnen bij robots.txt. Logisch, want daar vertel je bots wat ze mogen. Maar is dat ook waar het misgaat? Nauwelijks. Geen van de 147 websites die AI citeert, vroeg AI-bots voor antwoorden in robots.txt om weg te blijven. Bij de willekeurige websites was dat bij 6 van de 125 zo (4,8%), waaronder twee nieuwsmedia, die AI-bots vaak bewust weren.

Trainingsbots werden vaker geblokkeerd: 12% van de willekeurige websites blokkeerde GPTBot of ClaudeBot in robots.txt. Dat is een keuze over modeltraining, niet over zoeken met AI. Een paar sites blokkeerden de trainingsbots en lieten de bots voor antwoorden toe. Zo houd je die twee netjes uit elkaar.

Google-Extended, waarmee je bepaalt of Google content mag gebruiken voor Gemini, werd door 9,6% van de willekeurige websites geblokkeerd en door 1,4% van de geciteerde. Googlebot zelf werd vrijwel nooit geblokkeerd.

Mijn advies: Check of je robots.txt OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot of Perplexity-User niet blokkeert, tenzij je bewust uit hun antwoorden wilt blijven. Wil je modeltraining tegenhouden, noem dan GPTBot en ClaudeBot bij naam.

robots.txt zegt ja, de server zegt nee

Het grotere verschil zat op de server. robots.txt is een verzoek; de firewall bepaalt wat er echt gebeurt. Ik zag twee soorten blokkades.

Wel de browser, niet de AI-bot

Op sommige websites kreeg mijn browser de pagina, maar kregen een of meer AI-bots een foutmelding of een beveiligingscheck. Dat wijst op een regel die op AI-bots gericht is. Bij de willekeurige websites die mijn browser binnenlieten, gebeurde dat bij 15 van de 89 (17%). Bij 12 daarvan stond robots.txt de geweigerde bot toe. De website nodigde de bots dus uit, en de server stuurde ze weg.

Bij de websites die AI citeert, gebeurde het bij 4 van de 117 (3,4%). Logisch eigenlijk: wie AI-bots wegstuurt, wordt minder snel geciteerd.

Zulke blokkades komen vaak van firewalls en botbescherming, niet van een bewuste keuze. Cloudflare is het bekendste voorbeeld: sinds 1 juli 2025 blokkeert het AI-crawlers standaard op nieuwe domeinen. Ongeveer de helft van de willekeurige websites die AI-bots op de server tegenhielden, draaide op Cloudflare. Cloudflare is dus niet het hele verhaal: andere hostingfirewalls en beveiligingsplugins doen hetzelfde.

Eén op de vijf websites weigert elke bot, en toch citeert AI ze

Er is ook een grovere vorm van blokkeren. Bij 20% van de geciteerde websites en 29% van de willekeurige weigerde de firewall zelfs mijn gewone browserverzoek, omdat het van een server kwam en niet van een echt persoon. Dat is algemene botbescherming, zoals je die vaak ziet bij banken, grote webshops en luchtvaartmaatschappijen.

De AI-bots werden meestal ook geweigerd. Maar dat bewijs is zwakker: sommige botbescherming laat de echte AI-bots wel door, door te controleren of een verzoek van de gepubliceerde adressen van OpenAI of Anthropic komt. En bij 7 geciteerde en 3 willekeurige websites kwamen de AI-bots juist wel binnen waar mijn browser werd geweigerd.

Eén op de vijf websites die AI het vaakst citeert bij Nederlandse vragen, weigerde elk geautomatiseerd verzoek dat ik stuurde. Toch citeert AI ze.

Hoe kan ABN AMRO geciteerd worden als het AI-bots weigert?

Het duidelijkste voorbeeld was ABN AMRO. Mijn browser kreeg de pagina, maar alle zes AI-bots voor antwoorden werden geweigerd, op zowel abnamro.nl als abnamro.com. robots.txt stond ze toe. Toch vermeldden ChatGPT, Claude en Gemini pagina's van ABN AMRO in mijn eerdere onderzoek.

Hoe kan dat? De firewall weigert misschien verzoeken die zich alleen voordoen als AI-bot, en laat de echte bots door. Het platform kan de pagina uit een zoekindex hebben gehaald in plaats van live. Of de pagina werd opgehaald voordat de regel bestond. Een test zoals de mijne laat zien dat een blokkade waarschijnlijk is, niet dat die zeker is. Je serverlogs laten zien wat de echte bots kregen.

Mijn advies: Test je belangrijkste pagina's als AI-bots, en kijk in je firewall of botbescherming of er regels voor AI-crawlers aanstaan. Vergelijk dat met je robots.txt: zegt robots.txt ja en de server nee, dan doet een van de twee niet wat je bedoelde.

En JavaScript dan?

Omdat de grote AI-crawlers geen JavaScript uitvoeren, kunnen websites die hun content in de browser opbouwen er voor hen leeg uitzien. In deze steekproef had geen van de homepages die ik kon lezen dat probleem: bij allemaal stond de hoofdtekst in de HTML.

Dat betekent niet dat het nooit voorkomt. Ik testte alleen homepages, en productfilters, prijzen, reviews of tabbladen dieper in een website worden vaker met JavaScript geladen. Is je website gebouwd als single-page application, check dan de pagina's die er het meest toe doen.

Heb je llms.txt nodig?

Scanners voor AI-agents geven de meeste punten voor nieuwe standaarden. In mijn steekproef waren die zeldzaam:

• llms.txt, een samenvattingsbestand voor taalmodellen: 26% van de geciteerde websites en 7% van de willekeurige.
• Content Signals, een regel in robots.txt die aangeeft of AI je content mag gebruiken voor zoeken, antwoorden en training: 3 geciteerde en 7 willekeurige websites. Alle zeven willekeurige gebruikten het om nee te zeggen tegen training.
• Een Markdown-versie, een platte-tekstversie van de pagina voor agents die erom vragen: 3 geciteerde en 1 willekeurige website.
• Link-headers die agents naar machineleesbare bestanden wijzen: geen enkele.

Het verschil bij llms.txt valt op, maar laat niet zien dat llms.txt helpt. De geciteerde websites zijn vooral grotere bedrijven met meer technische mensen, en ze werden al geciteerd voordat ik ging kijken. Google zegt dat je geen nieuwe machineleesbare bestanden nodig hebt voor zijn AI-functies. Ik heb geen bewijs gezien dat een van de grote AI-crawlers llms.txt gebruikt om bronnen te kiezen.

Content Signals zijn een voorkeur, geen blokkade, en geen enkel AI-bedrijf heeft bevestigd dat het zich eraan houdt. Markdown-versies worden opgevraagd door sommige AI-tools, zoals Claude Code. Dat kan helpen bij agents die taken uitvoeren, maar een effect op vermeldingen in AI is niet aangetoond.

Wat heb ik op mijn eigen website aangepast?

Cloudflare heeft een scanner, isitagentready.com, die websites een niveau geeft op basis van zulke nieuwe standaarden. Mijn site kwam uit op niveau 1. Ik voegde drie dingen toe:

• Een Content Signals-regel in robots.txt, die zoeken, AI-antwoorden en training toestaat.
• Een Markdown-versie van elke pagina, voor agents die erom vragen.
• Een Link-header die agents naar mijn sitemap wijst.

Daarmee ging de site naar niveau 3. Niveau 4 en hoger vraagt om bijvoorbeeld een MCP-server of een agent card, wat alleen zin heeft als je een dienst aanbiedt die agents kunnen gebruiken. Die heb ik overgeslagen.

Hielpen de aanpassingen? Eerlijk gezegd: dat weet ik nog niet. Ze waren snel toegevoegd en kunnen geen kwaad, dus ik zie ze als een klein experiment. Ik houd bij welke tools de Markdown-versie opvragen en schrijf daar later over. Wat ik niet doe, is het hogere niveau zien als bewijs dat AI mijn site beter kan gebruiken. De punten die dat bepalen, toegang en leesbare HTML, waren al in orde.

Welke checks kun je negeren?

Sommige scanners geven websites ook minpunten voor standaarden die alleen voor bepaalde bedrijven gelden:

• Betaalprotocollen zoals ACP, UCP en x402: voor webshops die willen dat AI-agents namens een klant kunnen kopen.
• MCP server cards, A2A agent cards, OAuth discovery en API-catalogi: voor websites met een API of een dienst waarop agents inloggen of die ze aanroepen.
• WebMCP: hiermee biedt een pagina acties aan AI-agents in de browser. Nog experimenteel.

Past geen van deze bij je bedrijf, dan zegt een lage score hierop niets over of ChatGPT of Claude je website kunnen gebruiken.

Checklist: test je eigen website

1. Test je belangrijkste pagina's als AI-bots. Gebruik de AI Agent Checker, die een browserverzoek vergelijkt met acht AI-bots en robots.txt.
2. Lees je robots.txt. Zorg dat de bots voor antwoorden niet per ongeluk geblokkeerd zijn, en dat een blokkade voor training de trainingsbots bij naam noemt.
3. Check je firewall en botbescherming. Zoek naar instellingen voor AI-crawlers of AI-bots in je CDN, hostingpaneel of beveiligingsplugin.
4. Bekijk je serverlogs. Zoek op OAI-SearchBot, ChatGPT-User, Claude-SearchBot en PerplexityBot, en kijk welke statuscodes ze kregen.
5. Check of de content in de HTML staat. Bekijk de paginabron, of kijk wat de check laat zien zonder JavaScript.

Bereikbaar zijn is de eerste voorwaarde, geen garantie. In mijn onderzoek naar welke pagina's AI vermeldt telde het zwaarst hoe goed een pagina de vraag beantwoordde.

Wat kan dit onderzoek niet zeggen?

De steekproeven zijn klein: 147 en 125 websites. Zie de percentages als aanwijzingen, niet als precieze cijfers voor alle Nederlandse websites.

Ik testte alleen homepages, op één moment in november 2026. De check stuurt verzoeken met de gepubliceerde user agent van elke bot vanaf een gewone server; hij kan geen verzoeken sturen vanaf de eigen adressen van OpenAI, Anthropic of Perplexity. Firewalls die die adressen controleren, kunnen echte bots anders behandelen, in beide richtingen.

De geciteerde websites zijn een selectie van domeinen die AI al citeert. Ze laten zien wat succesvolle websites doen, niet wat vermeldingen veroorzaakt. Mijn eerste willekeurige steekproef, uit de volledige Tranco-top van een miljoen, bevatte een netwerk van bijna identieke spamsites. Die verving ik door een steekproef uit de top 300.000.