Auditar el archivo robots.txt con parsero
Auditar el archivo robots.txt con parsero
Parsero es una herramienta gratuita escrita en Python que viene preinstalada (o se puede instalar fácilmente) en Kali Linux. Su función principal es auditar el archivo robots.txt de un servidor web.
Aquí te explico de forma sencilla para qué sirve, por qué es útil en ciberseguridad y cómo se usa.
¿Para qué sirve Parsero?
El archivo robots.txt le dice a los motores de búsqueda (como Google o Bing) qué directorios o archivos de una web no deben indexar (usando la directiva Disallow).
El problema es que, a veces, los administradores listan ahí carpetas sensibles (ej. /admin/, /backup/, /config/) pensando que así nadie las verá. Para un atacante o auditor, ¡eso es un mapa del tesoro!
Parsero automatiza este análisis de la siguiente manera:
Lee las entradas
Disallowdel archivorobots.txt.Comprueba el estado HTTP de cada una de esas rutas de forma automática (para ver si están accesibles públicamente con un código
200 OK).Busca en Bing para ver si alguno de esos contenidos supuestamente "ocultos" ya ha sido indexado por error.
Cómo usar Parsero (Sintaxis básica)
Si no lo tienes instalado, en Kali Linux puedes instalarlo con:
sudo apt update && sudo apt install parsero
1. Escaneo básico de un sitio web
Para analizar el archivo robots.txt de un objetivo, simplemente ejecutas:
parsero -u https://www.ejemplo.com
El script descargará el archivo, revisará cada línea prohibida y te mostrará en la terminal cuáles responden con un estado 200 OK (página disponible).
2. Buscar solo los enlaces indexados en Bing
Si quieres que Parsero busque en Bing qué páginas bajo la directiva Disallow se filtraron en el motor de búsqueda, usa la opción -o (only Bing):
parsero -u https://www.ejemplo.com -o
3. Guardar los resultados en un archivo
Si estás haciendo una auditoría larga y quieres guardar todo en un documento de texto para revisarlo más tarde:
parsero -u https://www.ejemplo.com -f resultados.txt
⚠️ Nota de seguridad: Aunque revisar el archivo
robots.txtes una actividad puramente pasiva (ya que el archivo es público), Parsero realiza peticiones web directas a cada directorio listado para comprobar su estado. Úsala únicamente en entornos controlados, laboratorios o páginas web donde tengas autorización explícita para realizar pruebas de penetración.
