Tudo o que quer saber antes de instalar.
Uma análise detalhada de como o AI Crawler Manager: PrestaShop 8 e 9 funciona, porque o construímos assim e o raciocínio por trás das funcionalidades acima.
Porquê gerir os robôs de IA em 2026
Em dois anos, os crawlers de IA passaram de curiosidade a maior consumidor de largura de banda em muitos sites de comércio eletrónico. O GPTBot da OpenAI, o ClaudeBot da Anthropic, o Google-Extended, o Applebot-Extended, o PerplexityBot, o Bytespider da ByteDance e mais duas dezenas aspiram diariamente as suas fichas de produto, descrições, preços, avaliações de clientes e artigos de blogue. Três utilizações: treinar os futuros grandes modelos de linguagem, alimentar em tempo real as respostas dos assistentes conversacionais (ChatGPT, Claude, Perplexity) e abastecer os novos motores de pesquisa de IA.
O problema do robots.txt manual
Bloquear um robô de IA no robots.txt exige conhecer o user-agent exato (por vezes vários por editor, alguns a mudar sem aviso), manter essa lista atualizada e perceber que nem todos os robôs respeitam o robots.txt. O Bytespider é conhecido por o ignorar, e o anthropic-ai antigo só o respeita parcialmente. Sem uma ferramenta dedicada, o administrador anda entre ficheiros de texto, documentação dispersa e registos do servidor.
O que o AI Crawler Manager faz
O módulo instala mais de 30 robôs de IA pré-configurados com os user-agents corretos em maio de 2026, a documentação oficial e a categoria de utilização (treino, assistente, pesquisa, rastreio). O administrador permite ou bloqueia cada robô com um interruptor visual, aplica uma predefinição com um clique, pré-visualiza o robots.txt resultante e escreve-o sem risco, graças às marcas sentinela que preservam as diretivas manuais existentes.
Bloqueio HTTP para os robôs renitentes
Para os robôs que ignoram o robots.txt, o hook actionDispatcherBefore deteta o user-agent logo no primeiro pedido e devolve um código HTTP 403 antes de qualquer processamento do PrestaShop. O servidor poupa ciclos de CPU, a base de dados não é consultada e o robô fica mesmo bloqueado.
Estatísticas com duas fontes
Primeira fonte: o acompanhamento em tempo real pelo hook do PrestaShop, que regista cada visita de IA detetada com URL, IP, user-agent, estado HTTP e data e hora. Segunda fonte: a importação do ficheiro de registo de acessos do Apache ou do Nginx em formato combined, com análise incremental segura (deslocamento em bytes guardado, sem releituras duplicadas). O módulo deteta automaticamente os caminhos mais comuns nos alojamentos.
Granularidade por caminho
Para os casos em que quer autorizar um robô apenas em certas zonas (por exemplo, a Anthropic nas fichas de produto para que sejam recomendadas no Claude, mas não no blogue, para não ceder o seu conteúdo editorial), o separador Regras permite definir autorizações ou proibições por caminho de URL, com padrões de asterisco e fim de cadeia, exatamente como num robots.txt clássico.
Arquitetura sólida
PSR-4 com namespace DataFirefly/AiCrawlerManager, autoloader próprio incluído (sem composer install na implantação), 5 tabelas em utf8mb4 com índices adequados, 6 controladores de administração em AdminParentConfigure, templates Smarty separados, CSS e JavaScript minimalistas (gráfico em canvas nativo, sem dependências externas) e traduções incluídas. Compatível com o PrestaShop 8.0 a 9.x através do ModuleAdminController legacy.
Ainda não existem avaliações.