Alles wat u wilt weten voordat u installeert.
Een gedetailleerde blik op hoe AI Crawler Manager: PrestaShop 8 & 9 werkt, waarom we het zo gebouwd hebben en de gedachte achter de bovenstaande functies.
Waarom AI-bots beheren in 2026
In twee jaar tijd zijn AI-crawlers van een curiositeit uitgegroeid tot de grootste verbruiker van bandbreedte op veel webshops. GPTBot van OpenAI, ClaudeBot van Anthropic, Google-Extended, Applebot-Extended, PerplexityBot, Bytespider van ByteDance en een twintigtal andere halen dagelijks uw productpagina's, beschrijvingen, prijzen, klantbeoordelingen en blogartikelen binnen. Daar zijn drie toepassingen voor: het trainen van toekomstige grote taalmodellen, het in real time voeden van de antwoorden van gespreksassistenten (ChatGPT, Claude, Perplexity), en het vullen van de nieuwe AI-zoekmachines.
Het probleem met een handmatige robots.txt
Een AI-bot via robots.txt blokkeren betekent dat u zijn precieze user-agent moet kennen (soms meerdere per aanbieder, en sommige veranderen zonder aankondiging), die lijst moet bijhouden, en moet begrijpen dat niet elke bot zich aan robots.txt houdt. Bytespider staat erom bekend hem te negeren, en het oude anthropic-ai respecteert hem maar gedeeltelijk. Zonder eigen hulpmiddel jongleert de beheerder met tekstbestanden, verspreide documentatie en serverlogs.
Wat AI Crawler Manager doet
De module installeert meer dan 30 vooraf ingestelde AI-bots met hun juiste user-agents per mei 2026, hun officiële documentatie en hun gebruikscategorie (training, assistent, search, crawl). De beheerder zet elke bot met een visuele schakelaar op toegestaan of geblokkeerd, past met één klik een preset toe, bekijkt de resulterende robots.txt en schrijft die zonder risico weg dankzij markeringen die de bestaande handmatige regels behouden.
HTTP-blokkering voor hardnekkige bots
Voor bots die robots.txt negeren herkent de hook actionDispatcherBefore de user-agent al bij het eerste verzoek en stuurt hij een HTTP 403 terug vóór elke verwerking door PrestaShop. De server bespaart rekentijd, de database wordt niet aangesproken, en de bot is werkelijk geblokkeerd.
Statistieken uit twee bronnen
De eerste bron is het volgen in real time via de PrestaShop-hook, die elk herkend AI-bezoek vastlegt met URL, IP, user-agent, HTTP-status en tijdstip. De tweede bron is de import van het toegangslog van Apache of Nginx in het combined-formaat, met een veilige incrementele verwerking (de offset in bytes wordt bewaard, dus nooit dubbel lezen). De module herkent automatisch de gangbare paden op standaard Linux-servers en op gedeelde hosting met cPanel.
Nauwkeurigheid per pad
Wilt u een bot alleen op bepaalde delen toestaan (bijvoorbeeld Anthropic wel op de productpagina's, zodat die in Claude kunnen worden aanbevolen, maar niet op het blog, om uw redactionele inhoud niet weg te geven), dan stelt u op het tabblad Regels toestemmingen of verboden per URL-pad in, met jokertekens en een sluitteken, precies zoals in een klassieke robots.txt.
Solide architectuur
PSR-4 onder de namespace DataFirefly/AiCrawlerManager, met een eigen ingebouwde autoloader (geen composer install nodig bij het uitrollen), 5 tabellen in utf8mb4 met passende indexen, 6 admincontrollers onder AdminParentConfigure, aparte Smarty-templates, en minimale CSS en JavaScript (een native canvasgrafiek, zonder externe afhankelijkheden). Compatibel met PrestaShop 8.0 tot 9.x via de legacy ModuleAdminController.
Er zijn nog geen beoordelingen.