El Probador de robots.txt te permite verificar si URLs concretas de tu sitio web son accesibles o están bloqueadas para distintos rastreadores. Es esencial para asegurarte de que los buscadores pueden rastrear tus páginas importantes mientras las áreas privadas siguen protegidas.
Pega el contenido de tu robots.txt e introduce la ruta de URL que quieres probar. Elige entre user-agents habituales como Googlebot, GPTBot, Bingbot y otros rastreadores de IA. La herramienta muestra al instante si esa URL está permitida o bloqueada y resalta la regla concreta que se aplicó.
La sintaxis de robots.txt puede ser engañosa: los comodines, los bloques de user-agent múltiples y el orden de las reglas pueden dar resultados inesperados. Nuestro probador elimina las conjeturas al mostrar exactamente cómo interpretan los rastreadores tus reglas.
Ideal para depurar problemas de rastreo, verificar cambios en robots.txt antes de desplegarlos y asegurarte de que los rastreadores de IA pueden acceder a tu contenido para tu visibilidad en la búsqueda con IA.
Obtén resultados en unos pocos pasos sencillos
Pega el contenido de tu robots.txt en el área de texto
Introduce la ruta de URL que quieres probar (por ejemplo, /blog/article)
Selecciona un user-agent (Googlebot, GPTBot, etc.)
Haz clic en probar para ver si la URL está permitida o bloqueada
Consulta la regla concreta que coincidió en tu prueba
Ajusta tu robots.txt y vuelve a probar si hace falta
No cometas estos errores frecuentes
Probar con el user-agent en mayúsculas o minúsculas incorrectas (robots.txt las distingue)
Olvidar que las reglas más específicas prevalecen sobre las generales
No entender cómo funciona el comodín (*) en las rutas
Confundir Disallow: / (bloquea todo) con Disallow: (no bloquea nada)
Probar rutas relativas cuando querías rutas absolutas
Sí, los nombres de user-agent en robots.txt distinguen entre mayúsculas y minúsculas. 'Googlebot' no es lo mismo que 'googlebot'. Por su parte, las rutas de URL suelen distinguirlas según la configuración de tu servidor. Respeta siempre exactamente las mayúsculas y minúsculas que usan los rastreadores.
Disallow impide que los rastreadores accedan a las rutas indicadas. Allow permite el acceso de forma explícita y sirve para anular reglas Disallow más amplias. Por ejemplo, puedes poner Disallow: /admin/ pero Allow: /admin/public/.
El asterisco (*) coincide con cualquier secuencia de caracteres. Por ejemplo, Disallow: /*.pdf bloquea todos los archivos PDF. El signo de dólar ($) coincide con el final de una URL. Disallow: /*.php$ bloquea las URLs que terminan en .php, pero no /page.php?id=1.
Los rastreadores de IA como GPTBot y PerplexityBot suelen quedar bloqueados por error por reglas de robots.txt demasiado amplias. Probarlos garantiza que los buscadores de IA puedan descubrir tu contenido, algo cada vez más importante para el tráfico y la visibilidad.
Profundiza en estos temas con nuestras guías y plantillas completas.
Rankwise te ayuda a optimizar tu contenido para los buscadores de IA y el SEO tradicional.