MenciaBot

MenciaBot es el agente que visita una web solo cuando alguien solicita una auditoría en mencia.thehigheragency.com. No rastrea Internet por su cuenta.

Qué hace

Descarga la página principal, /robots.txt, /llms.txt y /sitemap.xml. Son, como máximo, cuatro peticiones por auditoría y los resultados se guardan en caché durante 10 minutos.

Cómo identificarlo

User-Agent: MenciaBot/1.0 (+https://mencia.thehigheragency.com/bot)

Cómo bloquearlo

Añade a tu robots.txt:
User-agent: MenciaBot
Disallow: /
O escríbenos a info@thehigheragency.com.