Alles, was Sie wissen sollten bevor Sie installieren.
Ein detaillierter Blick darauf, wie AI Crawler Manager — PrestaShop 8 & 9 funktioniert, warum wir es so gebaut haben und der Gedanke hinter den Funktionen oben.
Warum KI-Bots im Jahr 2026 verwalten
In zwei Jahren sind KI-Crawler vom Kuriositätsstatus zum größten Bandbreitenverbraucher auf vielen E-Commerce-Sites geworden. OpenAI GPTBot, Anthropic ClaudeBot, Google-Extended, Applebot-Extended, PerplexityBot, ByteDance Bytespider und zwanzig weitere greifen täglich Ihre Produktseiten, Beschreibungen, Preise, Kundenbewertungen und Blogartikel ab. Drei Anwendungsfälle: die nächste Generation von großen Sprachmodellen trainieren, in Echtzeit konversationelle Assistenten-Antworten speisen (ChatGPT, Claude, Perplexity), die neuen KI-Suchmaschinen füttern.
Das Problem der manuellen robots.txt
Einen KI-Bot über robots.txt zu blockieren erfordert, seinen genauen User-Agent zu kennen (manchmal mehrere pro Anbieter, einige ändern sich ohne Ankündigung), diese Liste aktuell zu halten und zu verstehen, dass nicht alle Bots robots.txt respektieren. Bytespider ist dafür bekannt, sie zu ignorieren, legacy anthropic-ai respektiert sie nur teilweise. Ohne ein spezielles Werkzeug jongliert der Administrator zwischen Textdateien, verstreuten Dokumentationen und Server-Logs.
Was AI Crawler Manager tut
Das Modul installiert 30+ KI-Bots vorkonfiguriert mit ihren korrekten User-Agents im Mai 2026, ihren offiziellen Dokumentationen und ihrer Nutzungskategorie (training, assistant, search, crawl). Der Administrator erlaubt oder blockiert jeden Bot über einen visuellen Schalter, wendet eine Voreinstellung per Klick an, sieht die resultierende robots.txt in der Vorschau und schreibt sie sicher dank Sentinel-Markern, die bestehende manuelle Direktiven erhalten.
HTTP-Blockierung für hartnäckige Bots
Für Bots, die robots.txt ignorieren, erkennt der Hook actionDispatcherBefore den User-Agent bei der ersten Anfrage und gibt einen HTTP 403-Statuscode zurück, bevor jegliche PrestaShop-Verarbeitung erfolgt. Der Server spart CPU-Zyklen, die Datenbank wird nicht abgefragt, der Bot wird tatsächlich blockiert.
Statistiken aus zwei Quellen
Erste Quelle: die Echtzeit-Verfolgung über den PrestaShop-Hook, der jeden erkannten KI-Besuch mit URL, IP, User-Agent, HTTP-Status und Zeitstempel aufzeichnet. Zweite Quelle: der Import der Apache- oder Nginx-Zugriffs-Log-Datei im Combined-Format, mit sicherem inkrementellem Parsing (Byte-Offset gespeichert, keine doppelte Lesung). Das Modul erkennt automatisch gängige Pfade (Schrägstrich var Schrägstrich log, Schrägstrich home Schrägstrich logs auf o2switch, Schrägstrich home Schrägstrich Benutzer Schrägstrich access Bindestrich logs auf cPanel).
Granularität pro Pfad
Für Fälle, in denen Sie einen Bot nur in bestimmten Bereichen zulassen möchten (zum Beispiel Anthropic auf Produktseiten, damit er sie in Claude empfiehlt, aber nicht im Blog, um Ihre redaktionellen Inhalte nicht preiszugeben), ermöglicht der Tab Regeln, pro URL-Pfad Erlaubnis- oder Verbotsregeln mit Wildcard- und End-of-String-Mustern zu definieren, genau wie in einer klassischen robots.txt.
Solide Architektur
PSR-4 unter Namespace DataFirefly Schrägstrich AiCrawlerManager, eingebetteter benutzerdefinierter Autoloader (kein composer install bei der Bereitstellung erforderlich), 5 Tabellen mit utf8mb4 und geeigneten Indizes, 6 Admin-Controller unter AdminParentConfigure, getrennte Smarty-Templates, minimales CSS und JS (natives Canvas-Diagramm, keine externen Abhängigkeiten), FR- und EN-Übersetzungen enthalten. Kompatibel mit PrestaShop 8.0 bis 9.x über legacy ModuleAdminController.
Es gibt noch keine Rezensionen.