Tous les fichiers publics d’un site, en un coup d’œil.
robots.txt, sitemaps, llms.txt, ads.txt, security.txt, fichiers .well-known : le robot vérifie 34 emplacements et ouvre chaque sitemap trouvé.
Fichiers
Sitemaps
robots.txt
Questions fréquentes
Qu’est-ce que llms.txt ?
Un fichier Markdown placé à la racine qui présente le site aux modèles d’IA : résumé, pages importantes, documentation. C’est une convention récente, encore facultative, adoptée par de nombreux sites de documentation.
À quoi servent ads.txt et security.txt ?
ads.txt liste les régies autorisées à vendre votre espace publicitaire, contre la fraude. security.txt (dans /.well-known/) indique comment signaler une faille de sécurité ; il doit contenir au moins « Contact: » et « Expires: ».
Que signifie « fausse page 404 » ?
Le serveur répond « 200 OK » mais renvoie une page HTML (souvent l’accueil ou une page d’erreur) au lieu du fichier demandé. Le fichier n’existe donc pas vraiment, et les robots peuvent être induits en erreur.