SEO & Techniek
robots.txt en AI-crawlers: GPTBot, OAI-SearchBot en meer
robots.txt is een tekstbestand in de hoofdmap van je website waarin je crawlers vraagt bepaalde delen wel of niet op te halen. AI-aanbieders gebruiken eigen crawlers met eigen namen, zoals GPTBot en OAI-SearchBot, die je in dat bestand apart kunt toelaten of weigeren. Het blijft een verzoek, geen slot.
Door Dries Nijs, Organic Web Specialist
Laatst bijgewerkt: 17 november 2026
In het kort
robots.txt en AI-crawlers: het korte antwoord
De meeste AI-aanbieders werken met meer dan één crawler. Eén verzamelt inhoud die gebruikt kan worden om modellen te trainen, een andere bouwt de zoekindex waaruit het systeem bronnen haalt voor zijn antwoorden, en een derde haalt een pagina op wanneer een gebruiker daar zelf om vraagt.
Dat onderscheid is belangrijk, omdat je ze apart kunt regelen. Wie alle AI-crawlers in één beweging blokkeert, sluit zichzelf ook uit als bron in AI-zoekresultaten. Wie alleen training wil weigeren, kan dat doen zonder zijn zichtbaarheid op te geven.
Hieronder staat per aanbieder welke namen officieel gedocumenteerd zijn, wat ze doen en wat robots.txt wel en niet kan. De gegevens zijn nagekeken op 17 november 2026; aanbieders passen hun crawlers geregeld aan.

Basis
Hoe werkt robots.txt?
Het bestand staat op jouwdomein.be/robots.txt. Een crawler die zich aan de afspraak houdt, leest het vóór hij pagina’s ophaalt.
De regels zijn vastgelegd in een formele internetstandaard, het Robots Exclusion Protocol.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xml- User-agent zegt voor welke crawler de regels gelden. Een sterretje betekent: voor iedereen.
- Disallow vraagt om een pad niet op te halen. Allow maakt daarop een uitzondering.
- Een eigen blok wint. Staat er een blok voor een specifieke crawler, dan volgt die crawler dat blok en niet de algemene regels.
- Sitemap wijst naar het overzicht van je indexeerbare pagina’s.
Onderscheid
Drie soorten AI-crawlers
De naam van een crawler zegt weinig. Wat telt, is waarvoor de opgehaalde inhoud dient.
Voor het model
Trainingscrawlers
Ze verzamelen publieke inhoud die gebruikt kan worden om toekomstige modellen te trainen. Ze weigeren heeft geen invloed op je plaats in zoekresultaten.
Voor de antwoorden
Zoekcrawlers
Ze bouwen de index waaruit een AI-systeem bronnen kiest en links toont. Wie ze weigert, verschijnt daar niet of nauwelijks als bron.
Op vraag
Ophalingen door gebruikers
Iemand plakt een link of vraagt het systeem een pagina te bekijken. Dat is geen automatisch crawlen, en aanbieders behandelen het anders dan hun crawlers.
Naslag
Welke AI-crawlers zijn officieel gedocumenteerd?
Dit overzicht bevat alleen namen die de aanbieder zelf beschrijft. In je serverlogs duiken ook andere bots op; zonder officiële documentatie weet je niet zeker van wie ze zijn of wat ze doen.
| Naam in robots.txt | Aanbieder | Soort | Wat de aanbieder erover zegt |
|---|---|---|---|
GPTBot | OpenAI | Training | Haalt inhoud op die gebruikt kan worden om de modellen van OpenAI te trainen. |
OAI-SearchBot | OpenAI | Zoeken | Dient voor de zoekfunctie van ChatGPT. Staat los van GPTBot: je kunt het ene toelaten en het andere weigeren. |
ChatGPT-User | OpenAI | Op vraag van een gebruiker | Bezoekt een pagina wanneer een gebruiker daarom vraagt. Geen automatische crawler; robots.txt-regels gelden hier mogelijk niet. |
OAI-AdsBot | OpenAI | Advertenties | Controleert pagina’s die als advertentie in ChatGPT zijn ingediend. Bezoekt volgens OpenAI alleen die pagina’s; de gegevens dienen niet voor het trainen van modellen. |
ClaudeBot | Anthropic | Training | Verzamelt publieke webinhoud die kan bijdragen aan het trainen van modellen. Volgt robots.txt. |
Claude-SearchBot | Anthropic | Zoeken | Indexeert inhoud om de kwaliteit van zoekresultaten voor gebruikers te verbeteren. |
Claude-User | Anthropic | Op vraag van een gebruiker | Haalt pagina’s op wanneer een gebruiker van Claude een vraag stelt die dat vereist. Volgt volgens Anthropic robots.txt. |
PerplexityBot | Perplexity | Zoeken | Dient om websites te tonen en te linken in de zoekresultaten van Perplexity; volgens Perplexity niet voor het trainen van basismodellen. |
Perplexity-User | Perplexity | Op vraag van een gebruiker | Bezoekt een pagina wanneer de vraag van een gebruiker dat vereist; negeert daarbij doorgaans robots.txt. |
Google-Extended | Token, geen crawler | Regelt of inhoud die Google al crawlt, gebruikt mag worden voor het trainen van Gemini-modellen en voor grounding. Heeft geen invloed op Google Zoeken. | |
Applebot-Extended | Apple | Token, geen crawler | Regelt of inhoud die Applebot ophaalt, gebruikt mag worden voor het trainen van de generatieve modellen van Apple. Zoekresultaten blijven mogelijk. |
CCBot | Common Crawl | Open webarchief | Bouwt een open, publiek toegankelijk archief van webgegevens. Controleert volgens Common Crawl eerst robots.txt. |
Laatst gecontroleerd: 17 november 2026. Elke naam in de tabel is op die datum teruggevonden in de documentatie van de aanbieder zelf. De lijst is niet volledig: aanbieders beschrijven ook andere, meer gespecialiseerde agents.
Bronnen: de documentatie van OpenAI, Anthropic, Perplexity, Google Apple en Common Crawl, geraadpleegd op 17 november 2026. Lees bij twijfel altijd de pagina van de aanbieder zelf: die is leidend.
En Google AI Overviews en AI Mode?
Die horen bij Google Zoeken en gebruiken de gewone Googlebot. Er is geen aparte crawler die je voor AI Overviews kunt weigeren. Google-Extended verandert daar niets aan: dat token gaat over het trainen van Gemini-modellen en over grounding, niet over de zoekresultaten.
Wie niet in de AI-functies van Google Zoeken wil verschijnen, komt dus uit bij de instellingen die ook voor gewone zoekresultaten gelden, zoals beperkingen op fragmenten. Dat heeft meteen gevolgen voor hoe je in de klassieke resultaten getoond wordt. Voor de meeste bedrijfswebsites is dat geen wenselijke ruil. Meer daarover in Hoe kom je in Google AI Overviews?.
Voorbeeld
Zoeken toelaten en training weigeren: hoe ziet dat eruit?
Dit is één mogelijke keuze, geen aanbeveling voor elke website. Elk blok geldt voor één crawler.
Google-Extended en Applebot-Extended kun je op dezelfde manier een eigen blok geven. Let op: volgens Google regelt Google-Extended ook grounding, dus het gebruik van je inhoud als bron in Gemini.
# Zoekcrawlers van AI-systemen: toegelaten
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# Trainingscrawlers: geweigerd
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /Staat er in je bestand geen blok voor een bepaalde crawler, dan volgt die de algemene regels onder User-agent: *. Een AI-crawler die je nergens noemt, mag dus alles wat andere crawlers mogen.
Beslissen
AI-crawlers toelaten of blokkeren?
Er is geen juist antwoord voor iedereen. Het hangt af van wat je website moet doen.
Zoekcrawlers toelaten ligt voor de hand wanneer
- je gevonden wilt worden door mensen die een AI-systeem om advies vragen
- je website je diensten of producten voorstelt
- je wilt dat een systeem je eigen pagina’s als bron gebruikt, en niet alleen wat anderen over je schrijven
Training weigeren kan zinvol zijn wanneer
- je inhoud zelf het product is, zoals betaalde artikels of cursussen
- je uit principe niet wilt bijdragen aan het trainen van modellen
- je juridische of contractuele redenen hebt om hergebruik te beperken
Voor een bedrijfswebsite is het blokkeren van zoekcrawlers zelden in je voordeel: je verdwijnt als bron, terwijl het systeem nog altijd over je kan praten op basis van andere websites. Wat je met trainingscrawlers doet, is een keuze die je zelf maakt.
Grenzen
Wat robots.txt niet kan
- Niets afdwingen. Het bestand is een verzoek. Crawlers van bekende aanbieders zeggen het te volgen; een bot met slechte bedoelingen leest het niet.
- Niets beveiligen. Wat niet publiek mag zijn, hoort achter een login. Een Disallow-regel verklapt hoogstens waar het staat.
- Geen ophalingen door gebruikers tegenhouden. Meerdere aanbieders behandelen een bezoek op vraag van een gebruiker anders dan automatisch crawlen.
- Niets terugdraaien. Een regel van vandaag haalt geen inhoud weg die eerder al is opgehaald.
- Niet uit de index houden. Disallow verhindert het ophalen, niet het indexeren van een URL. Daarvoor dient noindex. Zie Website of pagina niet geïndexeerd?.
Wie harde controle wil, heeft meer nodig dan robots.txt: toegangsbeheer op de server, of regels in de firewall op basis van de IP-reeksen die aanbieders publiceren.
Controle
Hoe controleer je wat jouw website toelaat?
Veel websites blokkeren AI-crawlers zonder dat de eigenaar het weet, of laten alles toe zonder dat daar ooit over beslist is. Zo kijk je het na.
01
Open je robots.txt
Typ je domein gevolgd door /robots.txt. Lees eerst de algemene regels, dan de blokken per crawler.
02
Zoek naar een te brede regel
Een Disallow: / onder User-agent: * sluit iedereen uit, ook zoekmachines. Dat gebeurt vaker dan je denkt na een livegang.
03
Kijk verder dan het bestand
Hosting, een CDN of een beveiligingsplugin kan bots blokkeren voor ze je robots.txt lezen. Controleer die instellingen ook.
04
Bekijk je serverlogs
Daar zie je welke crawlers werkelijk langskomen, en welk antwoord ze krijgen.
05
Leg je keuze vast
Beslis per soort crawler wat je wilt, en noteer waarom. Zo blijft het bestand geen toevallig overblijfsel.
06
Kijk het geregeld na
Aanbieders voegen crawlers toe en wijzigen hun gedrag. Het kan ook even duren voor een aanpassing overal is doorgevoerd.
Evolutie
Wat verandert er nog?
Het landschap is niet af. In 2026 hebben meerdere aanbieders aangekondigd dat ze een gedeeld signaal voor AI-training in robots.txt willen ondersteunen, zodat je je voorkeur niet meer per crawler hoeft te herhalen. De invoering verschilt per aanbieder, en de bestaande namen blijven werken.
Daarnaast bestaan er voorstellen zoals llms.txt, dat geen toegang regelt maar een overzicht van je inhoud aanreikt. Wat dat wel en niet doet, lees je in llms.txt: wat het doet — en wat niet.
Robots.txt is intussen maar één onderdeel van crawlbaarheid. Rendering, statuscodes, canonicals en interne links bepalen mee of een crawler je inhoud ook echt kan lezen. Dat geheel valt onder technische SEO.
FAQ
Veelgestelde vragen over robots.txt en AI-crawlers
Is een robots.txt-bestand nodig?
Het is niet verplicht. Zonder bestand gaan crawlers ervan uit dat alles opgehaald mag worden. Een robots.txt is wel nuttig om delen zoals een beheeromgeving of interne zoekresultaten uit te sluiten, en om naar je sitemap te verwijzen.
Waar vind ik het robots.txt-bestand van mijn website?
Altijd in de hoofdmap: je domeinnaam gevolgd door /robots.txt. Staat het ergens anders, dan lezen crawlers het niet.
Hoe pas ik robots.txt aan in WordPress?
WordPress maakt zelf een virtueel robots.txt-bestand aan als er geen echt bestand staat. Aanpassen kan met een SEO-plugin die een editor voor het bestand heeft, of door een eigen bestand in de hoofdmap te plaatsen. Controleer daarna in de browser wat er werkelijk uitgeleverd wordt.
Als ik GPTBot blokkeer, verdwijn ik dan uit ChatGPT?
Niet door die regel alleen. Volgens OpenAI staat GPTBot voor training en OAI-SearchBot voor de zoekfunctie van ChatGPT, en zijn de instellingen onafhankelijk van elkaar. Je kunt GPTBot dus weigeren en OAI-SearchBot toelaten.
Werkt robots.txt nog?
Ja, voor crawlers die zich eraan houden, en dat zijn onder meer de gedocumenteerde crawlers van de grote zoekmachines en AI-aanbieders. Het is geen technische blokkade: wie de afspraak wil negeren, kan dat.
Is het negeren van robots.txt illegaal?
Robots.txt is een technische afspraak, geen wet. Of het negeren ervan juridische gevolgen heeft, hangt af van het land, de gebruiksvoorwaarden en het auteursrecht. Dat is een vraag voor een jurist, niet voor een developer.
Meer over dit onderwerp
Verder lezen
De dienst bij dit onderwerp
Technische SEO als dienst
Twijfel je of zoekmachines en AI-crawlers je website kunnen ophalen en lezen? Op de dienstpagina staat hoe ik crawlbaarheid, rendering en indexatie onderzoek en oplos.

Over de auteur
Dries Nijs, Organic Web Specialist
Ik ben Dries Nijs, developer en SEO specialist uit Maasmechelen. Crawlbaarheid controleer ik in de code, de serverinstellingen en de logs, niet alleen in een tool. MadeByDries is het persoonlijke merk waaronder ik werk.
Weet je welke crawlers jouw website toelaat?
Vertel me over je website. Dan kijken we na wat zoekmachines en AI-crawlers er vandaag van kunnen lezen.