Scraping kali linux colly

 

 https://www.onlinetis.com

Scraping kali linux colly

Para trabajar con Colly en Kali Linux, estás combinando una de las herramientas de web scraping más potentes del lenguaje Go (Golang) con una distribución enfocada en la ciberseguridad.

Aquí tienes una guía rápida para configurar todo y un ejemplo básico en español.

---

1. Requisitos Previos en Kali

Primero, asegúrate de tener instalado Go. Kali suele tenerlo en sus repositorios, pero es bueno verificarlo.

Bash

# Actualizar repositorios e instalar Go
sudo apt update
sudo apt install golang -y

# Verificar la instalación
go version

2. Configuración del Proyecto

Crea una carpeta para tu proyecto de scraping y descarga la librería Colly.

Bash

mkdir mi_scraper && cd mi_scraper
go mod init mi_scraper
go get -u github.com/gocolly/colly/v2

---

3. Código de Ejemplo (Básico)

Crea un archivo llamado main.go (nano main.go) y pega el siguiente código. Este ejemplo extrae los títulos y enlaces de una página:

Go

package main

import (
	"fmt"
	"github.com/gocolly/colly/v2"
)

func main() {
	// 1. Instanciar el recolector
	c := colly.NewCollector(
		colly.AllowedDomains("ejemplo.com", "www.ejemplo.com"),
	)

	// 2. Definir qué buscar (en este caso, etiquetas <a> con href)
	c.OnHTML("a[href]", func(e *colly.HTMLElement) {
		link := e.Attr("href")
		fmt.Printf("Enlace encontrado: %s -> %s\n", e.Text, link)
	})

	// 3. Log de progreso
	c.OnRequest(func(r *colly.Request) {
		fmt.Println("Visitando:", r.URL.String())
	})

	// 4. Lanzar el scraper
	c.Visit("https://www.ejemplo.com")
}

Para ejecutarlo:

Bash

go run main.go

---

¿Por qué usar Colly en Kali Linux?

• Velocidad: Al estar escrito en Go, es extremadamente rápido y maneja la concurrencia de forma nativa.

• Recolección de Información (OSINT): En auditorías de seguridad, puedes usarlo para mapear subdominios, extraer correos electrónicos o encontrar archivos expuestos.

• Facilidad: Su sintaxis basada en "callbacks" (eventos como OnHTML u OnRequest) es muy intuitiva.

---

Tips para Kali:

• Proxy: Si estás haciendo pruebas de penetración, puedes configurar Colly para que pase por Tor o un proxy específico usando c.SetProxy("http://127.0.0.1:8080").

• User-Agent: Cambia el User-Agent para evitar ser bloqueado:

  c.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64)..."