FREN

Les robots peuvent-ils entrer ?

Pour chaque robot (Google, Bing, ChatGPT, Claude, Perplexity, Ahrefs…), on lit votre robots.txt, on visite la page sous son identité et on lit ses balises. Vous voyez qui passe, qui est bloqué, et par quelle règle.

Comparé avec : un navigateur
1

robots.txt

On applique la norme RFC 9309, comme Google : le groupe au nom du robot l’emporte sur « * », puis la règle la plus précise.

2

Le serveur

On visite la page sous l’identité de chaque robot et on compare avec un navigateur : un écart révèle un pare-feu ou un CDN qui filtre.

3

Les balises

On lit la balise meta robots, celle au nom du robot (googlebot, bingbot…) et l’en-tête X-Robots-Tag : un noindex empêche l’indexation.

Questions fréquentes

Comment savoir si Googlebot peut accéder à ma page ?

Trois conditions : votre robots.txt ne doit pas l’interdire, votre serveur doit lui répondre « 200 OK » (sans pare-feu qui le bloque) et la page ne doit pas porter de balise noindex. L’outil vérifie les trois, pour chaque robot.

Pourquoi un robot est-il « refusé par le serveur » ?

Votre robots.txt l’autorise, mais le serveur ou un pare-feu (Cloudflare, Sucuri, Wordfence…) lui répond 403, 429 ou une page de défi, alors qu’un navigateur reçoit la page. C’est fréquent avec les réglages « bloquer les robots IA » des pare-feu.

Le résultat est-il exactement celui du vrai Googlebot ?

Presque toujours. L’outil se présente avec l’identité (user-agent) de chaque robot depuis notre serveur. Un site qui vérifie l’adresse IP des vrais robots peut leur répondre différemment ; pour Google, confirmez avec l’outil d’inspection d’URL de Search Console.

Que sont Google-Extended et Applebot-Extended ?

Ce ne sont pas des robots qui visitent les pages, mais des noms lus dans robots.txt. Les interdire empêche Google et Apple d’utiliser votre contenu pour leurs IA (Gemini, Apple Intelligence), sans changer votre référencement.