Sauter au contenu
Le Référencement

Le fichier robots.txt expliqué : ce qu'il bloque, ce qu'il laisse passer

Le fichier robots.txt expliqué : ce qu'il bloque, ce qu'il laisse passer

Le fichier robots.txt est un fichier texte placé à la racine d'un site web, qui dit aux robots d'exploration des moteurs de recherche, les crawlers de Google ou de Bing, quelles url de pages ils peuvent explorer. Ses directives User-agent, Disallow et Allow visent un robot et un chemin ; une ligne Sitemap y déclare le sitemap XML. Le robots.txt règle l'exploration, pas l'index : pour sortir une page des résultats de Google, c'est la balise meta robots noindex, ou l'en-tête X-Robots-Tag, qui compte.

Les grandes parties
  1. Qu'est-ce que le fichier robots.txt et où le placer ?
  2. Pourquoi utiliser un fichier robots.txt sur un site
  3. Les autres robots du web : réseaux sociaux, médias, outils d'analyse
  4. La syntaxe des directives robots.txt
  5. Exemples de fichiers robots.txt selon le type de site
  6. Disallow ou noindex : bloquer l'exploration n'est pas bloquer l'index
  7. Les robots des services d'IA dans le robots.txt
  8. Déclarer le sitemap XML dans le fichier robots.txt
  9. Les erreurs de robots.txt qui coûtent le plus cher
  10. Tester son fichier robots.txt avant et après une modification
  11. Les bonnes pratiques pour un robots.txt fiable

Qu'est-ce que le fichier robots.txt et où le placer ?

Le robots.txt est la première url qu'un crawler demande sur un site web : le nom de domaine suivi de /robots.txt. Ses directives autorisent ou interdisent l'exploration de pages web et de dossiers, robot par robot : une directive Disallow ferme un chemin, une directive Allow y rouvre une exception. Googlebot, le robot de Google, et ceux des autres moteurs de recherche lisent le fichier robots.txt avant de parcourir le site ; le rapport robots.txt de la Google Search Console montre la version lue.

Né en 1994, le principe s'appelle le protocole d'exclusion des robots. Il est devenu un standard de l'IETF (Internet Engineering Task Force) en septembre 2022, sous le numéro RFC 9309. Ce standard fixe la syntaxe et la lecture des instructions ; Google Search Central précise ses propres écarts.

Le fichier doit se trouver à la racine de l'hôte, jamais dans un sous-dossier, où aucun robot ne le cherche. Un robots.txt ne vaut que pour l'hôte, le protocole et le port qui le servent : un sous-domaine a son propre robots.txt, et la version HTTPS d'un site lit le sien. Après un passage en HTTPS, c'est donc le fichier servi sur la nouvelle adresse qui compte.

Pourquoi utiliser un fichier robots.txt sur un site

Un site n'est pas obligé d'avoir un fichier robots.txt : sans lui, les robots considèrent que tout est explorable, et un fichier absent (réponse 404) se lit de la même façon. Le fichier devient utile dès que des zones du site n'ont aucun intérêt pour la recherche et consomment pourtant du temps d'exploration.

C'est le cas des pages de recherche interne, des paniers, des espaces client, des filtres qui produisent des milliers d'url à paramètres. Un robot ne visite pas un nombre infini de pages à chaque passage : ce qu'on appelle le budget d'exploration, ou crawl budget, se dépense mieux sur les pages qui méritent d'être classées. Sur un site de quelques dizaines de pages, l'effet est faible ; sur un catalogue de plusieurs milliers d'adresses, il change la fréquence à laquelle les pages utiles sont relues. Ces variantes d'adresses posent aussi un problème de contenu dupliqué, que le fichier aide à contenir.

Le fichier sert enfin à signaler l'emplacement du sitemap, et à donner des instructions distinctes à certains robots : celui d'un moteur, celui d'un réseau social, ceux des services d'IA.

Les autres robots du web : réseaux sociaux, médias, outils d'analyse

Réseaux sociaux, agrégateurs et outils d'analyse de liens envoient aussi leurs crawlers, chacun sous son User-agent. Fermer le site au robot d'un réseau social supprime l'aperçu des pages partagées. La directive Crawl-delay (délai entre deux requêtes) n'est pas lue par Google ; Bing en tient compte.

La syntaxe des directives robots.txt

La syntaxe du robots.txt tient en quelques mots. Le fichier est un texte brut encodé en UTF-8, lu ligne par ligne. Chaque ligne associe un champ et une valeur, séparés par deux-points ; le signe # ouvre un commentaire que les robots ignorent. Les lignes forment des groupes : un groupe commence par une ou plusieurs lignes User-agent, qui nomment les robots visés, puis liste les directives qui s'appliquent à eux.

DirectiveRôlePrécision utile
User-agentNomme le robot visé par le groupeL'étoile * désigne tous les robots
DisallowInterdit l'exploration d'un cheminUne valeur vide n'interdit rien
AllowAutorise un chemin dans une zone interditePrévue par la RFC 9309, lue par Google et Bing
SitemapDonne l'adresse complète d'un sitemapIndépendante des groupes, répétable
Crawl-delayDemande un délai entre deux requêtesHors norme, ignorée par Google

Les chemins commencent par une barre oblique et se comparent au début de l'url : Disallow: /panier bloque aussi /panier-cadeau.html. Ils sont sensibles à la casse, alors que le nom des champs ne l'est pas. Deux caractères spéciaux affinent les règles : l'étoile remplace n'importe quelle suite de caractères, et le signe $ marque la fin de l'adresse. La règle Disallow: /*.pdf$ du robots.txt vise ainsi tous les fichiers PDF, et eux seuls.

Quelle règle gagne quand deux règles se contredisent ?

Quand une adresse correspond à la fois à une règle Allow et à une règle Disallow, la RFC 9309 et Google appliquent la plus précise, c'est-à-dire celle dont le chemin est le plus long. À longueur égale, c'est la règle la moins restrictive, Allow, qui s'applique. L'ordre des lignes dans le groupe ne joue donc aucun rôle.

Quel groupe un robot suit-il ?

Un robot suit le groupe qui le nomme le plus précisément, et lui seul. S'il n'en trouve aucun à son nom, il suit le groupe de l'étoile. Ajouter un groupe pour un robot précis lui fait donc oublier toutes les règles générales : il faut les recopier dans son groupe si elles doivent continuer à s'appliquer à lui.

Exemples de fichiers robots.txt selon le type de site

Un bon robots.txt se déduit de la structure du site.

Un site vitrine qui n'a rien à cacher

Un site de quelques pages n'a souvent besoin d'aucune interdiction : un groupe User-agent: * pour tous les robots, une ligne Disallow vide, puis la ligne Sitemap.

# Simple file for a small site: all crawlers may read every page, with no blocking rule
User-agent: *
Disallow:

Sitemap: adresse complète du sitemap

Une boutique en ligne et ses url à paramètres

Une boutique veut voir ses catégories et ses fiches produits explorées, pas son panier, son espace client ni ses pages de tri. Le robots.txt vise ces chemins et les paramètres d'url qui multiplient les variantes, avec une exception pour une page d'aide.

Les commentaires, précédés du signe #, sont ignorés par les robots ; beaucoup de sites les rédigent en anglais, comme ci-dessous.

# robots.txt file for all crawlers (search engine bots)
# How to use this file: one rule per line, with no space before the field
User-agent: *
# Do not crawl the cart, the account and internal search result pages
Disallow: /panier/
Disallow: /mon-compte/
Disallow: /recherche
Disallow: /*?tri=
# Allow one specific help resource
Allow: /mon-compte/aide.html

# Sitemap file: report all URLs to every search engine
Sitemap: adresse complète du sitemap

Un blog sous WordPress

WordPress produit un robots.txt virtuel tant qu'aucun fichier réel n'est déposé à la racine. Par défaut, il interdit le dossier d'administration /wp-admin/ et autorise le seul fichier admin-ajax.php, dont certaines pages publiques ont besoin.

# Default file created by WordPress when no real file exists
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Une extension de référencement permet souvent de modifier ce fichier depuis l'administration ; un fichier réel déposé par FTP remplace le fichier virtuel.

Un site en préproduction

Une version de test du site bloque souvent tout avec Disallow: /. La règle n'empêche pas une adresse connue d'apparaître dans les résultats, et elle doit disparaître le jour de la mise en ligne. La protection sûre d'une préproduction reste un mot de passe sur le serveur.

Disallow ou noindex : bloquer l'exploration n'est pas bloquer l'index

La directive Disallow empêche un robot de lire une page ; elle n'empêche pas le moteur de l'ajouter à son index. Si Google découvre une adresse bloquée par des liens venus d'autres pages, il peut l'afficher dans ses résultats sans description, avec seulement l'adresse ou un titre tiré de ces liens.

Pour qu'une page n'apparaisse pas dans les résultats, la méthode est la balise meta robots, placée dans l'élément head du code HTML de la page avec l'attribut content à la valeur noindex, ou l'en-tête HTTP X-Robots-Tag: noindex, qui convient aux fichiers sans HTML comme un PDF ou une image. Le robot doit pouvoir lire cette consigne : une page à la fois interdite d'exploration et marquée noindex garde sa consigne invisible, et peut rester dans l'index. Une ligne Noindex: écrite dans le robots.txt ne sert à rien chez Google, qui a cessé de lire cette règle hors norme le 1er septembre 2019.

  • Pour économiser l'exploration d'une zone sans intérêt : Disallow dans le robots.txt.
  • Pour retirer une page des résultats de recherche : noindex, sur une page laissée explorable.
  • Pour protéger une information sensible : une authentification sur le serveur.

Le fichier robots.txt est public : n'importe qui peut le lire, et un dossier qu'on y interdit révèle son existence. Les robots respectueux suivent ses règles ; les bots malveillants, qui aspirent des contenus ou cherchent des failles, les ignorent, et le bon bot ne se reconnaît pas à son seul nom, que n'importe qui peut emprunter.

Les robots des services d'IA dans le robots.txt

Les robots des services d'IA générative explorent aussi le web, pour constituer des données d'entraînement ou pour répondre en direct à une question. Les services qui respectent le protocole publient le nom de leur user-agent, et le fichier robots.txt permet de les viser un par un, avec un groupe User-agent à leur nom et une ligne Disallow: / pour leur fermer tout le site.

Deux usages se distinguent souvent chez un même service : le robot qui collecte des pages pour entraîner un modèle, et celui qui va lire une page à la demande d'un utilisateur pour citer sa source. Bloquer le premier ne retire pas le site des réponses du second, et inversement. Google sépare de son côté l'exploration pour la recherche de l'usage des contenus par ses modèles : le jeton Google-Extended sert à refuser ce second usage sans toucher à Googlebot, donc sans effet sur le classement dans Google.

# Refuse model training with this site's data, keep search crawling as it is
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# All other crawlers: no specific rule
User-agent: *
Disallow:

Ces règles relèvent d'un choix éditorial et n'engagent que les robots qui acceptent de les lire. Les noms changent souvent : ils se vérifient dans la documentation de chaque service et dans les journaux du serveur.

Déclarer le sitemap XML dans le fichier robots.txt

La ligne Sitemap indique aux moteurs l'adresse du sitemap XML, la liste des pages que le site veut voir explorées. Elle prend une adresse complète, avec le protocole et le nom de domaine, et non un simple chemin. Indépendante des groupes, elle vaut pour tous les robots, où qu'elle soit placée.

Un site peut déclarer plusieurs sitemaps, un par ligne, par exemple un pour les pages et un pour les images. Cette déclaration ne remplace pas l'envoi du sitemap dans la Google Search Console, mais elle le fait connaître à tous les moteurs d'un seul coup.

Les erreurs de robots.txt qui coûtent le plus cher

Une erreur de robots.txt se paie en visibilité, souvent sans bruit, et les mêmes reviennent d'un audit à l'autre.

  1. Le Disallow: / oublié après la mise en ligne. Une seule barre oblique interdit tout le site, alors qu'une ligne Disallow vide n'interdit rien. Le site sort peu à peu des résultats.
  2. Les fichiers CSS et JavaScript bloqués. Privé de ces fichiers, Google ne voit pas la page comme un visiteur, mais cassée.
  3. Une page bloquée pour la retirer de l'index. Le robot ne lit plus la balise meta noindex, et l'url reste dans l'index.
  4. Un fichier placé dans un sous-dossier, ou un seul fichier pour plusieurs sous-domaines.
  5. Un groupe ajouté pour un robot précis, qui lui fait oublier les règles générales.
  6. Une faute de casse dans un chemin, ou une règle trop courte qui bloque plus qu'elle ne devrait.

Le code de réponse du fichier joue aussi. Selon la documentation de Google, un fichier introuvable (erreur 4xx) vaut absence de règles, alors qu'une erreur serveur (5xx) conduit Google à traiter le site comme entièrement interdit tant qu'elle dure. Google lit enfin les 500 premiers kibioctets du fichier et ignore la suite, et garde en général sa copie jusqu'à 24 heures : une correction ne se voit pas à la minute.

Tester son fichier robots.txt avant et après une modification

Un fichier robots.txt se teste en trois temps. Le premier contrôle consiste à ouvrir son url dans un navigateur : le texte du robots.txt doit s'afficher en clair, avec un code de réponse 200, dans la version voulue.

Le deuxième passe par la Google Search Console. Son rapport robots.txt indique les fichiers trouvés pour chaque hôte, la date de la dernière lecture et les avertissements de syntaxe ; il permet aussi de demander une nouvelle lecture après une correction. L'outil d'inspection d'url de la Search Console dit ensuite si une url précise est bloquée par le fichier. Bing propose un contrôle comparable dans ses outils pour webmasters.

Le troisième consiste à tester une quinzaine d'url représentatives : l'accueil, une catégorie, un article, une page d'administration, une url à paramètre. Le résultat attendu, autorisée ou bloquée, s'écrit avant le test ; tout écart signale une règle trop large ou trop étroite. Une copie datée de chaque version permet de revenir en arrière.

Les bonnes pratiques pour un robots.txt fiable

Un robots.txt fiable est court, et chaque ligne s'y explique en une phrase ; une règle héritée d'un ancien thème dont on ignore l'effet s'efface.

  • Bloquer seulement les zones sans valeur pour la recherche : recherche interne, panier, compte, variantes à paramètres.
  • Laisser explorables les ressources d'affichage : CSS, JavaScript, images des pages à classer.
  • Utiliser noindex, et non Disallow, pour retirer une page des résultats.
  • Déclarer l'adresse complète de chaque sitemap.
  • Protéger par mot de passe ce qui doit rester privé, sans le citer dans le fichier.
  • Relire le fichier servi et le rapport de la Search Console après chaque refonte, migration ou changement de domaine.

La relecture du fichier robots.txt fait partie de tout audit SEO, et la rubrique Technique rassemble les autres réglages qui décident de ce que les moteurs voient d'un site.

Sources : IETF, RFC 9309 « Robots Exclusion Protocol » (septembre 2022) ; Google Search Central, documentation « Introduction au fichier robots.txt » et « Interprétation de la spécification robots.txt par Google » ; annonce de Google de juillet 2019 sur les règles non prises en charge.

Date de publication : - Dernière mise à jour :

Derniers guides

À parcourir aussi

↑