Le Testeur robots.txt vous permet de vérifier si des URL précises de votre site sont accessibles ou bloquées pour différents robots d'exploration. C'est essentiel pour garantir que les moteurs de recherche peuvent explorer vos pages importantes tout en protégeant les zones privées.
Collez le contenu de votre robots.txt et saisissez le chemin d'URL à tester. Choisissez parmi les user-agents courants, dont Googlebot, GPTBot, Bingbot et d'autres robots IA. L'outil indique instantanément si l'URL est autorisée ou bloquée, en mettant en évidence la règle précise qui s'applique.
La syntaxe de robots.txt peut être délicate : les caractères génériques, les blocs user-agent multiples et l'ordre des règles peuvent produire des résultats inattendus. Notre testeur supprime les approximations en montrant exactement comment les robots interprètent vos règles.
Idéal pour diagnostiquer des problèmes d'exploration, vérifier les modifications de robots.txt avant leur déploiement et garantir que les robots IA peuvent accéder à vos contenus pour votre visibilité dans la recherche IA.
Des résultats en quelques étapes simples
Collez le contenu de votre robots.txt dans la zone de texte
Saisissez le chemin d'URL à tester (par ex. /blog/article)
Sélectionnez un user-agent (Googlebot, GPTBot, etc.)
Cliquez sur Tester pour savoir si l'URL est autorisée ou bloquée
Consultez la règle précise qui s'applique à votre test
Ajustez votre robots.txt et testez à nouveau si nécessaire
Ne commettez pas ces erreurs fréquentes
Tester avec une casse de user-agent incorrecte (robots.txt est sensible à la casse)
Oublier que les règles plus spécifiques priment sur les règles générales
Mal comprendre le comportement du caractère générique (*) dans les chemins
Confondre Disallow: / (bloque tout) et Disallow: (ne bloque rien)
Tester des chemins relatifs alors que vous vouliez des chemins absolus
Oui, les noms de user-agent dans robots.txt sont sensibles à la casse. 'Googlebot' est différent de 'googlebot'. Les chemins d'URL sont eux aussi généralement sensibles à la casse, selon la configuration de votre serveur. Respectez toujours exactement la casse utilisée par les robots.
Disallow empêche les robots d'accéder aux chemins indiqués. Allow autorise explicitement l'accès et sert à passer outre des règles Disallow plus larges. Par exemple, vous pouvez indiquer Disallow: /admin/ mais Allow: /admin/public/.
L'astérisque (*) correspond à n'importe quelle suite de caractères. Par exemple, Disallow: /*.pdf bloque tous les fichiers PDF. Le signe dollar ($) correspond à la fin d'une URL. Disallow: /*.php$ bloque les URL se terminant par .php, mais pas /page.php?id=1.
Les robots IA comme GPTBot et PerplexityBot sont souvent bloqués par erreur par des règles robots.txt trop larges. Un test garantit que vos contenus peuvent être découverts par les moteurs de recherche IA, ce qui compte de plus en plus pour le trafic et la visibilité.
Approfondissez ces sujets avec nos guides et modèles complets (en anglais).
Guide
Apprendre les fondamentaux
Modèle
Des modèles prêts à l'emploi
Cas d'usage
Des applications concrètes
Rankwise vous aide à optimiser votre contenu pour les moteurs de recherche IA et le SEO classique.