Écrivez votre robots.txt, puis testez-le.
Partez d’un modèle, choisissez les robots à bloquer, puis vérifiez qu’une adresse est bien autorisée ou interdite, avec les règles de Google.
Point de départ
Règles pour tous les robots
Robots d’intelligence artificielle
Une case cochée bloque ce robot sur tout le site. Google-Extended et Applebot-Extended bloquent l’entraînement des IA sans toucher au référencement.
Robots SEO et moteurs étrangers
robots.txt
Le texte se modifie aussi à la main : le test ci-dessous lit toujours la version affichée.
Tester une adresse
Questions fréquentes
À quoi sert le fichier robots.txt ?
Placé à la racine du site, il indique aux robots d’exploration les parties qu’ils peuvent visiter. Il ne protège rien : une page interdite peut quand même être indexée si d’autres sites la citent. Pour retirer une page des résultats, utilisez la balise « noindex ».
Comment bloquer les robots d’IA ?
Ajoutez un groupe « User-agent » pour chaque robot (GPTBot, ClaudeBot, Google-Extended, CCBot…) suivi de « Disallow: / ». Les robots des grands éditeurs respectent ces règles ; Google-Extended bloque l’usage pour l’IA sans toucher au référencement Google.
Quelle règle s’applique quand Allow et Disallow se contredisent ?
Selon la norme RFC 9309 suivie par Google, c’est la règle la plus longue (la plus précise) qui l’emporte ; à longueur égale, Allow gagne. Le testeur applique exactement cette logique, avec les jokers * et $.