RobotslabBot

Le robot des outils robots.txt

RobotslabBot est le robot de Robotslab. Il ne parcourt jamais le web de lui-même : il visite un site uniquement quand un utilisateur demande à analyser ses fichiers publics (robots.txt, sitemaps, llms.txt…) ou à vérifier quels robots peuvent y accéder.

Identification

Bonnes pratiques

• Il lit votre robots.txt avant d'explorer et obéit toujours aux règles qui le visent par son nom.
• Il ne visite qu'une adresse par vérification, avec au plus 8 requêtes en même temps.

Vérification « robot par robot »

Pour savoir si votre serveur laisse passer un robot donné, l'outil visite la page demandée en se présentant avec l'identité (user-agent) de ce robot : Googlebot, GPTBot, ClaudeBot… Ces visites viennent toujours de notre serveur, jamais de Google ou d'OpenAI, et portent l'en-tête X-Robotslab-Check pour que vous puissiez les reconnaître. Un robot interdit par votre robots.txt n'est pas visité.

• Il ne soumet aucun formulaire, ne se connecte à aucun compte et ne conserve aucune page.

Bloquer RobotslabBot

Ajoutez ces lignes à votre robots.txt :

Pour toute question : page Contact.