Tutto quello che vorresti sapere prima di installare.
Uno sguardo dettagliato su come funziona AI Crawler Manager — PrestaShop 8 & 9, perché l'abbiamo progettato così, e il ragionamento dietro le funzionalità qui sopra.
Perché gestire i bot IA nel 2026
In due anni i crawler IA sono passati dallo stato di curiosità a quello di primo consumatore di banda su molti siti e-commerce. GPTBot di OpenAI, ClaudeBot di Anthropic, Google-Extended, Applebot-Extended, PerplexityBot, Bytespider di ByteDance e una ventina di altri aspirano quotidianamente le tue schede prodotto, descrizioni, prezzi, recensioni dei clienti e articoli del blog. Tre usi: addestrare la prossima generazione di grandi modelli linguistici, alimentare in tempo reale le risposte degli assistenti conversazionali (ChatGPT, Claude, Perplexity), popolare i nuovi motori di ricerca IA.
Il problema del robots.txt manuale
Bloccare un bot IA tramite robots.txt richiede di conoscere il suo user-agent esatto (a volte più di uno per editore, alcuni che cambiano senza preavviso), mantenere quell elenco aggiornato e capire che non tutti i bot rispettano robots.txt. Bytespider è famoso per ignorarlo, anthropic-ai legacy lo rispetta solo parzialmente. Senza uno strumento dedicato, l amministratore giocola tra file di testo, documentazioni sparse e log del server.
Cosa fa AI Crawler Manager
Il modulo installa 30+ bot IA pre-configurati con i loro user-agent corretti a maggio 2026, le loro documentazioni ufficiali e la loro categoria d uso (training, assistant, search, crawl). L amministratore permette o blocca ciascun bot tramite un interruttore visuale, applica un preset con un clic, visualizza l anteprima del robots.txt risultante e lo scrive senza rischi grazie ai marcatori sentinella che preservano le direttive manuali esistenti.
Blocco HTTP per i bot ostinati
Per i bot che ignorano robots.txt, l hook actionDispatcherBefore rileva l user-agent alla prima richiesta e restituisce un codice HTTP 403 prima di qualsiasi elaborazione PrestaShop. Il server risparmia cicli CPU, il database non viene interrogato, il bot è realmente bloccato.
Statistiche da due fonti
Prima fonte: il monitoraggio in tempo reale tramite l hook PrestaShop, che registra ogni visita IA rilevata con URL, IP, user-agent, stato HTTP e timestamp. Seconda fonte: l importazione del file di log di accesso Apache o Nginx in formato combined, con parsing incrementale sicuro (offset in byte memorizzato, mai una rilettura doppia). Il modulo rileva automaticamente i percorsi comuni (slash var slash log, slash home slash logs su o2switch, slash home slash utente slash access trattino logs su cPanel).
Granularità per percorso
Per i casi in cui vuoi permettere un bot solo su determinate aree (ad esempio Anthropic sulle schede prodotto perché le raccomandi in Claude, ma non sul blog per non cedere il tuo contenuto editoriale), la scheda Regole permette di definire autorizzazioni o divieti per percorso URL con pattern wildcard e fine stringa, esattamente come in un robots.txt classico.
Architettura solida
PSR-4 sotto namespace DataFirefly slash AiCrawlerManager, autoloader personalizzato integrato (nessun composer install richiesto al deployment), 5 tabelle con utf8mb4 e indici appropriati, 6 controller admin sotto AdminParentConfigure, template Smarty separati, CSS e JS minimalisti (grafico canvas nativo, nessuna dipendenza esterna), traduzioni FR e EN incluse. Compatibile con PrestaShop 8.0 fino a 9.x tramite legacy ModuleAdminController.
Ancora non ci sono recensioni.