SEO & technique

robots.txt et robots IA : GPTBot, OAI-SearchBot et autres

robots.txt est un fichier texte placé à la racine de votre site, dans lequel vous demandez aux robots d’exploration de récupérer ou non certaines parties. Les fournisseurs d’IA utilisent leurs propres robots, avec leurs propres noms, comme GPTBot et OAI-SearchBot, que vous pouvez autoriser ou refuser séparément dans ce fichier. Cela reste une demande, pas un verrou.

En bref

robots.txt et robots d’IA : la réponse courte

La plupart des fournisseurs d’IA utilisent plus d’un robot. L’un collecte du contenu qui peut servir à entraîner des modèles, un autre construit l’index de recherche dans lequel le système puise les sources de ses réponses, et un troisième récupère une page quand un utilisateur le demande lui-même.

Cette distinction est importante, car vous pouvez les gérer séparément. Celui qui bloque tous les robots d’IA d’un seul coup s’exclut aussi comme source dans les résultats de recherche IA. Celui qui veut seulement refuser l’entraînement peut le faire sans renoncer à sa visibilité.

Vous trouverez ci-dessous, par fournisseur, les noms officiellement documentés, ce qu’ils font et ce que robots.txt peut et ne peut pas faire. Les informations ont été vérifiées le 17 novembre 2026 ; les fournisseurs modifient régulièrement leurs robots.

robots.txt : exemple qui refuse un robot d’entraînement et autorise un robot de recherche

Les bases

Comment fonctionne robots.txt ?

Le fichier se trouve à l’adresse jouwdomein.be/robots.txt. Un robot qui respecte la convention le lit avant de récupérer des pages.

Les règles sont fixées dans une norme Internet formelle, le Robots Exclusion Protocol.

Un fichier robots.txt simple
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap_index.xml
  • User-agent indique à quel robot les règles s’appliquent. Un astérisque signifie : à tous.
  • Disallow demande de ne pas récupérer un chemin. Allow y fait une exception.
  • Un bloc spécifique l’emporte. S’il existe un bloc pour un robot précis, ce robot suit ce bloc et non les règles générales.
  • Sitemap renvoie vers la liste de vos pages indexables.

Distinction

Trois types de robots d’IA

Le nom d’un robot dit peu de chose. Ce qui compte, c’est l’usage du contenu récupéré.

Pour le modèle

Robots d’entraînement

Ils collectent du contenu public qui peut servir à entraîner de futurs modèles. Les refuser n’a aucune influence sur votre place dans les résultats de recherche.

Pour les réponses

Robots de recherche

Ils construisent l’index dans lequel un système d’IA choisit ses sources et affiche des liens. Celui qui les refuse n’y apparaît pas, ou à peine, comme source.

À la demande

Récupérations par les utilisateurs

Quelqu’un colle un lien ou demande au système de consulter une page. Il ne s’agit pas d’une exploration automatique, et les fournisseurs la traitent différemment de leurs robots.

Référence

Quels robots d’IA sont officiellement documentés ?

Cet aperçu ne contient que des noms que le fournisseur décrit lui-même. D’autres bots apparaissent aussi dans vos journaux de serveur ; sans documentation officielle, vous ne savez pas avec certitude à qui ils appartiennent ni ce qu’ils font.

Robots d’IA officiellement documentés et jetons robots.txt
Nom dans robots.txtFournisseurTypeCe qu’en dit le fournisseur
GPTBotOpenAIEntraînementRécupère du contenu qui peut servir à entraîner les modèles d’OpenAI.
OAI-SearchBotOpenAIRechercherSert à la fonction de recherche de ChatGPT. Indépendant de GPTBot : vous pouvez autoriser l’un et refuser l’autre.
ChatGPT-UserOpenAIÀ la demande d’un utilisateurVisite une page lorsqu’un utilisateur le demande. Pas un robot automatique ; les règles de robots.txt ne s’appliquent peut-être pas ici.
OAI-AdsBotOpenAIPublicitésContrôle les pages soumises comme publicité dans ChatGPT. Selon OpenAI, il ne visite que ces pages ; les données ne servent pas à entraîner des modèles.
ClaudeBotAnthropicEntraînementCollecte du contenu web public qui peut contribuer à l’entraînement de modèles. Respecte robots.txt.
Claude-SearchBotAnthropicRechercherIndexe du contenu pour améliorer la qualité des résultats de recherche pour les utilisateurs.
Claude-UserAnthropicÀ la demande d’un utilisateurRécupère des pages lorsqu’un utilisateur de Claude pose une question qui le nécessite. Selon Anthropic, respecte robots.txt.
PerplexityBotPerplexityRechercherSert à afficher et à lier des sites dans les résultats de recherche de Perplexity ; selon Perplexity, pas à entraîner des modèles de base.
Perplexity-UserPerplexityÀ la demande d’un utilisateurVisite une page lorsque la question d’un utilisateur le nécessite ; ignore généralement robots.txt dans ce cas.
Google-ExtendedGoogleJeton, pas un robotDétermine si le contenu que Google explore déjà peut servir à entraîner les modèles Gemini et à l’ancrage (grounding). N’a aucune influence sur la recherche Google.
Applebot-ExtendedAppleJeton, pas un robotDétermine si le contenu récupéré par Applebot peut servir à entraîner les modèles génératifs d’Apple. L’affichage dans les résultats de recherche reste possible.
CCBotCommon CrawlArchive web ouverteConstruit une archive ouverte et publiquement accessible de données web. Selon Common Crawl, consulte d’abord robots.txt.

Dernière vérification : 17 novembre 2026. Chaque nom du tableau a été retrouvé à cette date dans la documentation du fournisseur lui-même. La liste n’est pas exhaustive : les fournisseurs décrivent aussi d’autres agents, plus spécialisés.

Sources : la documentation d’OpenAI, Anthropic, Perplexity, Google, Apple et Common Crawl, consultée le 17 novembre 2026. En cas de doute, lisez toujours la page du fournisseur lui-même : c’est elle qui fait foi.

Google

Et Google AI Overviews et AI Mode ?

Ils font partie de la recherche Google et utilisent le Googlebot habituel. Il n’existe pas de robot distinct que vous pourriez refuser pour les AI Overviews. Google-Extended n’y change rien : ce jeton concerne l’entraînement des modèles Gemini et l’ancrage (grounding), pas les résultats de recherche.

Celui qui ne veut pas apparaître dans les fonctionnalités d’IA de la recherche Google en revient donc aux paramètres qui valent aussi pour les résultats classiques, comme les restrictions sur les extraits. Cela a immédiatement des conséquences sur la manière dont vous apparaissez dans les résultats classiques. Pour la plupart des sites d’entreprise, ce n’est pas un échange souhaitable. Plus d’informations dans Comment apparaître dans Google AI Overviews ?.

Exemple

Autoriser la recherche et refuser l’entraînement : à quoi cela ressemble-t-il ?

C’est un choix possible, pas une recommandation pour chaque site. Chaque bloc s’applique à un seul robot.

Vous pouvez donner de la même manière un bloc propre à Google-Extended et à Applebot-Extended. Attention : selon Google, Google-Extended régit aussi l’ancrage, donc l’utilisation de votre contenu comme source dans Gemini.

Exemple : robots de recherche autorisés, robots d’entraînement refusés
# Zoekcrawlers van AI-systemen: toegelaten
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Trainingscrawlers: geweigerd
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

Si votre fichier ne contient pas de bloc pour un robot donné, celui-ci suit les règles générales sous User-agent: *. Un robot d’IA que vous ne mentionnez nulle part a donc les mêmes droits que les autres robots.

Décider

Autoriser ou bloquer les robots d’IA ?

Il n’y a pas de bonne réponse valable pour tout le monde. Cela dépend de ce que votre site doit accomplir.

Autoriser les robots de recherche s’impose quand

  • vous voulez être trouvé par des personnes qui demandent conseil à un système d’IA
  • votre site présente vos services ou vos produits
  • vous voulez qu’un système utilise vos propres pages comme source, et pas seulement ce que d’autres écrivent sur vous

Refuser l’entraînement peut avoir du sens quand

  • votre contenu est lui-même le produit, comme des articles payants ou des formations
  • vous ne voulez pas, par principe, contribuer à l’entraînement de modèles
  • vous avez des raisons juridiques ou contractuelles de limiter la réutilisation

Pour un site d’entreprise, bloquer les robots de recherche joue rarement en votre faveur : vous disparaissez comme source, alors que le système peut toujours parler de vous à partir d’autres sites. Ce que vous faites des robots d’entraînement est un choix qui vous appartient.

Limites

Ce que robots.txt ne peut pas faire

  • Imposer quoi que ce soit. Le fichier est une demande. Les robots des fournisseurs connus affirment le respecter ; un bot malveillant ne le lit pas.
  • Protéger quoi que ce soit. Ce qui ne doit pas être public doit se trouver derrière une connexion. Une règle Disallow révèle tout au plus où cela se trouve.
  • Bloquer les récupérations par les utilisateurs. Plusieurs fournisseurs traitent une visite à la demande d’un utilisateur différemment d’une exploration automatique.
  • Revenir en arrière. Une règle ajoutée aujourd’hui ne supprime pas le contenu déjà récupéré.
  • Exclure de l’index. Disallow empêche la récupération d’une URL, pas son indexation. C’est le rôle du noindex. Voir Site ou page non indexés ?.

Celui qui veut un contrôle strict a besoin de plus que robots.txt : une gestion des accès sur le serveur, ou des règles de pare-feu basées sur les plages d’adresses IP publiées par les fournisseurs.

Contrôle

Comment vérifier ce que votre site autorise ?

Beaucoup de sites bloquent les robots d’IA sans que leur propriétaire le sache, ou autorisent tout sans que la question ait jamais été tranchée. Voici comment vérifier.

01

Ouvrez votre robots.txt

Tapez votre domaine suivi de /robots.txt. Lisez d’abord les règles générales, puis les blocs par robot.

02

Cherchez une règle trop large

La Disallow: / sous User-agent: * exclut tout le monde, y compris les moteurs de recherche. Cela arrive plus souvent qu’on ne le pense après une mise en ligne.

03

Regardez au-delà du fichier

L’hébergement, un CDN ou une extension de sécurité peuvent bloquer les bots avant qu’ils ne lisent votre robots.txt. Vérifiez aussi ces réglages.

04

Consultez vos journaux de serveur

Vous y voyez quels robots passent réellement, et quelle réponse ils reçoivent.

05

Consignez votre choix

Décidez par type de robot ce que vous voulez, et notez pourquoi. Le fichier ne reste ainsi pas un vestige accidentel.

06

Vérifiez-le régulièrement

Les fournisseurs ajoutent des robots et modifient leur comportement. Il peut aussi falloir un certain temps avant qu’une modification soit appliquée partout.

Évolution

Qu’est-ce qui va encore changer ?

Le paysage n’est pas figé. En 2026, plusieurs fournisseurs ont annoncé vouloir prendre en charge dans robots.txt un signal commun pour l’entraînement de l’IA, pour que vous n’ayez plus à répéter votre préférence robot par robot. La mise en œuvre varie selon le fournisseur, et les noms existants continuent de fonctionner.

Il existe aussi des propositions comme llms.txt, qui ne règle pas l’accès mais fournit un aperçu de votre contenu. Ce qu’il fait et ne fait pas est expliqué dans llms.txt : ce qu’il fait — et ce qu’il ne fait pas.

Robots.txt n’est d’ailleurs qu’un élément de l’explorabilité. Le rendu, les codes de statut, les canonicals et les liens internes déterminent aussi si un robot peut réellement lire votre contenu. Cet ensemble relève du SEO technique.

FAQ

Questions fréquentes sur robots.txt et les robots d’IA

Il n’est pas obligatoire. Sans fichier, les robots partent du principe que tout peut être récupéré. Un robots.txt est toutefois utile pour exclure des parties comme un espace d’administration ou des résultats de recherche internes, et pour renvoyer vers votre sitemap.

Toujours à la racine : votre nom de domaine suivi de /robots.txt. S’il se trouve ailleurs, les robots ne le lisent pas.

WordPress crée lui-même un fichier robots.txt virtuel s’il n’existe pas de vrai fichier. Vous pouvez le modifier avec une extension SEO qui propose un éditeur pour ce fichier, ou en plaçant votre propre fichier à la racine. Vérifiez ensuite dans le navigateur ce qui est réellement servi.

Pas par cette seule règle. Selon OpenAI, GPTBot sert à l’entraînement et OAI-SearchBot à la fonction de recherche de ChatGPT, et les réglages sont indépendants l’un de l’autre. Vous pouvez donc refuser GPTBot et autoriser OAI-SearchBot.

Oui, pour les robots qui le respectent, ce qui inclut notamment les robots documentés des grands moteurs de recherche et fournisseurs d’IA. Ce n’est pas un blocage technique : celui qui veut ignorer la convention le peut.

Robots.txt est une convention technique, pas une loi. Les éventuelles conséquences juridiques de son non-respect dépendent du pays, des conditions d’utilisation et du droit d’auteur. C’est une question pour un juriste, pas pour un développeur.

En savoir plus sur ce sujet

Pour aller plus loin

Le service lié à ce sujet

Le service SEO technique

Vous doutez que les moteurs de recherche et les robots d’IA puissent récupérer et lire votre site ? Sur la page de service, découvrez comment j’analyse et résous les problèmes d’explorabilité, de rendu et d’indexation.

Dries Nijs, spécialiste Organic Web et auteur de cet article

À propos de l’auteur

Dries Nijs, spécialiste Organic Web

Je suis Dries Nijs, développeur et spécialiste SEO à Maasmechelen. Je vérifie l’explorabilité dans le code, les réglages du serveur et les journaux, pas seulement dans un outil. MadeByDries est la marque personnelle sous laquelle je travaille.

Savez-vous quels robots votre site autorise ?

Parlez-moi de votre site. Nous vérifierons ensemble ce que les moteurs de recherche et les robots d’IA peuvent en lire aujourd’hui.

Parlons de votre projet

Dites-moi ce que vous souhaitez créer ou améliorer

Vous n’avez pas besoin d’avoir déjà un cahier des charges technique. Expliquez-moi où vous en êtes et ce que vous souhaitez atteindre : je vous aiderai à définir la bonne approche.

Sélectionnez au moins un sujet. Vous pouvez en choisir plusieurs.

J’utilise vos données uniquement pour répondre à votre demande.

Vous préférez m’envoyer un e-mail directement ?

Téléphone
+32 477 89 88 72
Localisation
Maasmechelen, Belgique