Todo lo que querrías saber antes de instalar.
Una mirada detallada a cómo funciona AI Crawler Manager — PrestaShop 8 & 9, por qué lo construimos así y la lógica detrás de las características anteriores.
Por qué gestionar los bots IA en 2026
En dos años, los crawlers IA pasaron de curiosidad al primer consumidor de ancho de banda en muchos sitios e-commerce. GPTBot de OpenAI, ClaudeBot de Anthropic, Google-Extended, Applebot-Extended, PerplexityBot, Bytespider de ByteDance y veinte más aspiran cada día sus fichas de producto, descripciones, precios, reseñas de clientes y artículos del blog. Tres usos: entrenar los próximos grandes modelos de lenguaje, alimentar en tiempo real las respuestas de los asistentes conversacionales (ChatGPT, Claude, Perplexity), poblar los nuevos motores de búsqueda IA.
El problema del robots.txt manual
Bloquear un bot IA mediante robots.txt requiere conocer su user-agent exacto (a veces varios por editor, algunos cambiando sin aviso), mantener esa lista actualizada, y entender que no todos los bots respetan robots.txt. Bytespider es famoso por ignorarlo, anthropic-ai legacy solo lo respeta parcialmente. Sin una herramienta dedicada, el administrador hace malabarismos entre archivos de texto, documentaciones dispersas y logs del servidor.
Lo que hace AI Crawler Manager
El módulo instala 30+ bots IA pre-configurados con sus user-agents correctos a mayo de 2026, sus documentaciones oficiales y su categoría de uso (training, assistant, search, crawl). El administrador permite o bloquea cada bot con un interruptor visual, aplica un preajuste en un clic, previsualiza el robots.txt resultante y lo escribe sin riesgo gracias a los marcadores centinela que conservan las directivas manuales existentes.
Bloqueo HTTP para bots tercos
Para los bots que ignoran robots.txt, el hook actionDispatcherBefore detecta el user-agent en la primera petición y devuelve un código HTTP 403 antes de cualquier procesamiento PrestaShop. El servidor ahorra ciclos CPU, la base de datos no es consultada, el bot es realmente bloqueado.
Estadísticas de dos fuentes
Primera fuente: el seguimiento en tiempo real vía el hook PrestaShop, que registra cada visita IA detectada con URL, IP, user-agent, estado HTTP y marca de tiempo. Segunda fuente: la importación del archivo de log de acceso Apache o Nginx en formato combined, con análisis incremental seguro (offset en bytes almacenado, nunca releer dos veces). El módulo detecta automáticamente las rutas comunes (barra var barra log, barra home barra logs en o2switch, barra home barra usuario barra access guion logs en cPanel).
Granularidad por ruta
Para los casos donde se quiere permitir un bot solo en ciertas zonas (por ejemplo Anthropic en las fichas de producto para que las recomiende en Claude, pero no en el blog para no ceder su contenido editorial), la pestaña Reglas permite definir permisos o prohibiciones por ruta URL con patrones wildcard y final de cadena, exactamente como en un robots.txt clásico.
Arquitectura sólida
PSR-4 bajo namespace DataFirefly barra AiCrawlerManager, autoloader personalizado integrado (sin composer install requerido en el despliegue), 5 tablas con utf8mb4 e índices apropiados, 6 controladores admin bajo AdminParentConfigure, plantillas Smarty separadas, CSS y JS minimalistas (gráfico canvas nativo, sin dependencias externas), traducciones FR y EN incluidas. Compatible PrestaShop 8.0 a 9.x vía legacy ModuleAdminController.
No hay valoraciones aún.