En consultant les statistiques de leur hébergement, beaucoup de dirigeants découvrent des visiteurs inattendus : des robots envoyés par des entreprises d'intelligence artificielle. Ils parcourent les sites pour entraîner des modèles de langage ou pour alimenter des moteurs de réponse capables de citer des sources. Faut-il les laisser faire, les bloquer, ou trier ? La réponse dépend de ce que fait chaque robot, et de ce que vous attendez de votre site. Voici comment s'y retrouver techniquement.
Tous les robots d'IA ne font pas la même chose
On parle souvent des « robots d'IA » comme d'un ensemble. En réalité, ils remplissent des rôles très différents, et c'est cette distinction qui doit guider votre décision.
Les robots d'entraînement
Ils collectent des pages publiques qui peuvent servir à entraîner de futurs modèles d'intelligence artificielle. Votre contenu contribue alors aux connaissances générales du modèle, mais sans lien direct vers votre site. Chez OpenAI, ce rôle est assuré par GPTBot. Chez Anthropic, par ClaudeBot.
Les robots de recherche
Ils construisent l'index qui permet à un assistant IA de répondre à une question en citant des sources, avec des liens. OpenAI utilise OAI-SearchBot pour la recherche dans ChatGPT, Anthropic utilise Claude-SearchBot, et Perplexity utilise PerplexityBot. Si vous les bloquez, vos pages ont peu de chances d'apparaître comme source dans ces réponses.
Les robots agissant pour un utilisateur
Certains robots ne visitent une page qu'au moment où un utilisateur demande à l'assistant de la consulter, par exemple en collant un lien dans la conversation. ChatGPT-User et Claude-User en font partie.
Le cas particulier de Google
Chez Google, la situation est différente. Il n'existe pas de robot distinct à bloquer pour les fonctionnalités IA de la recherche. Les aperçus IA et le Mode IA s'appuient sur l'index classique, alimenté par Googlebot. Bloquer Googlebot reviendrait donc à disparaître de Google tout court.
Google propose en revanche une instruction appelée Google-Extended. Ce n'est pas un robot à part, mais un signal placé dans le robots.txt. Il permet d'indiquer si vos contenus peuvent être utilisés pour entraîner et améliorer ses modèles Gemini. Selon Google, ce choix n'a aucun effet sur l'indexation ni sur le classement de votre site dans la recherche.
Comment contrôler l'accès : le fichier robots.txt
Le moyen le plus simple de donner vos consignes est le fichier robots.txt, placé à la racine de votre site. Chaque robot y est désigné par son nom, sur une ligne User-agent, suivi d'une règle Disallow pour interdire l'exploration.
Par exemple, pour refuser l'entraînement par GPTBot tout en laissant OAI-SearchBot accéder au site, le fichier contiendra un bloc « User-agent: GPTBot » suivi de « Disallow: / », et aucune règle de blocage pour OAI-SearchBot. Un robot qui n'est pas mentionné suit les règles générales du fichier, qui autorisent en général l'exploration.
Deux erreurs sont fréquentes. La première consiste à bloquer GPTBot en pensant ainsi bloquer « ChatGPT » dans son ensemble, alors que le robot de recherche reste autorisé. La seconde, plus coûteuse, consiste à copier une liste de blocage trouvée en ligne qui exclut aussi les robots de recherche, et à disparaître sans le savoir des réponses de ces assistants.
Les limites du robots.txt
Le robots.txt est une convention, pas une protection. Les grands acteurs déclarent respecter ces consignes, mais un robot mal intentionné peut tout simplement les ignorer. Pour un blocage strict, il faut agir au niveau du serveur ou du pare-feu, par des règles qui refusent certaines requêtes. Certains hébergeurs et certaines extensions de sécurité WordPress proposent ce type de filtrage. Si vous l'activez, vérifiez ses réglages lors de votre maintenance WordPress, car un filtre trop large peut aussi bloquer des robots utiles.
Autre limite : le blocage n'agit que pour l'avenir. Les contenus déjà collectés avant la mise en place de la règle ne sont pas retirés pour autant.
Le nom des robots évolue aussi. De nouveaux robots apparaissent régulièrement, d'autres changent de rôle. Avant de modifier votre fichier, vérifiez la documentation officielle de chaque éditeur.
Alors, bloquer ou laisser passer ?
Pour la plupart des TPE, la question se pose ainsi : voulez-vous être cité quand quelqu'un pose une question liée à votre métier à un assistant IA ? Un artisan qui publie des conseils sur l'isolation, un consultant qui partage son expertise ou une boutique qui présente ses produits ont généralement intérêt à laisser passer les robots de recherche. C'est une porte d'entrée supplémentaire vers leur site.
Le cas des robots d'entraînement est plus ouvert. Certaines entreprises acceptent que leurs contenus publics contribuent aux modèles. D'autres, notamment celles dont le contenu est le cœur de leur valeur, comme un formateur qui publie des guides détaillés ou un créateur de recettes, préfèrent refuser cet usage. Bloquer l'entraînement tout en autorisant la recherche est une position cohérente et assez répandue.
Un dernier critère, plus technique, concerne la charge du serveur. Certains robots explorent beaucoup de pages. Sur un hébergement modeste, un passage intensif peut ralentir le site pour les vrais visiteurs, ce qui nuit à sa vitesse de chargement. Si vous constatez ce problème, une limitation de fréquence au niveau du serveur est souvent plus adaptée qu'un blocage total.
Vérifier ce qui se passe réellement
Les journaux de votre serveur, accessibles chez la plupart des hébergeurs, indiquent quels robots visitent votre site et à quelle fréquence. Le nom du robot apparaît dans le champ appelé « user-agent ». Ce contrôle permet de vérifier qu'une règle de blocage est bien respectée.
Pour Google, la Search Console propose un rapport sur le fichier robots.txt : il montre la version récupérée par Google et signale d'éventuelles erreurs. Après chaque modification, vérifiez que Googlebot a toujours accès à vos pages importantes.
Conclusion
Bloquer les robots d'IA n'est ni une obligation, ni forcément une bonne idée. Distinguez les robots d'entraînement, qui utilisent vos contenus pour nourrir des modèles, et les robots de recherche, qui peuvent vous citer et vous envoyer des visiteurs. Décidez en fonction de la valeur de vos contenus et de votre souhait d'être visible dans les assistants IA. Puis appliquez ce choix avec précision dans le robots.txt, sans jamais toucher à Googlebot. Comme pour l'usage de l'IA dans votre entreprise, l'essentiel est de faire un choix conscient plutôt que de subir des réglages par défaut.
FAQ sur les robots d'IA
Bloquer Google-Extended fait-il disparaître mon site de Google ?
Non. Selon Google, Google-Extended ne concerne que l'utilisation de vos contenus pour ses modèles Gemini. Il n'a pas d'effet sur l'indexation ni sur le classement dans la recherche.
Peut-on bloquer l'entraînement mais rester cité dans les réponses IA ?
Oui, pour les éditeurs qui séparent leurs robots. Il suffit de bloquer les robots d'entraînement dans le robots.txt tout en laissant l'accès aux robots de recherche.
Tous les robots respectent-ils le robots.txt ?
Les grands éditeurs déclarent le respecter, mais ce n'est qu'une convention. Pour bloquer un robot qui l'ignore, il faut des règles au niveau du serveur ou du pare-feu.
Faut-il ajouter un fichier spécial pour les IA ?
Pour les fonctionnalités IA de Google, Google indique qu'aucun fichier ni balisage particulier n'est nécessaire. Un site bien structuré, accessible et utile reste la meilleure base.
