robots.txt-editor: installatie- en gebruiksgids

Met de robots.txt-editor van DataFirefly past u het bestand robots.txt van uw winkel aan, valideert, hergenereert en bewaart u het, rechtstreeks vanuit de PrestaShop-backoffice, zonder FTP- of SSH-toegang. Deze gids behandelt de installatie en alle functies.

Compatibiliteit

• PrestaShop 8.0 tot 9.x
• PHP 7.4 tot 8.x
• Multistore
• Franstalige interface

Installatie

1. Download het archief dfrobotseditor.zip.
2. Open in de backoffice Modules → Modulebeheer.
3. Klik op Een module installeren en plaats de ZIP (of kopieer de map dfrobotseditor naar /modules/ en installeer die vanuit de lijst).
4. Klik na de installatie op Configureren: de editor opent meteen.

De editor openen

Er zijn twee ingangen:

• Via de knop Configureren van de module (aanbevolen).
• Via het menu Modules → robots.txt-editor in de backoffice.

Het hoofdscherm toont het pad van het bestand, of het beschrijfbaar is, een link « Online bekijken » en, indien van toepassing, de datum van de laatste back-up.

Aanpassen en opslaan

De inhoud van het bestand verschijnt in een editor met vaste breedte. Pas die naar wens aan en klik op Opslaan. Bij elke bewaring:

• wordt de vorige versie automatisch bewaard;
• worden de regeleinden genormaliseerd;
• wordt de inhoud tot 64 KB begrensd.

Het standaardbestand hergenereren

De knop Hergenereren (standaard) bouwt een gewone robots.txt opnieuw op. De module gebruikt daarvoor de native regels van PrestaShop als die beschikbaar zijn, en anders een gelijkwaardig DataFirefly-sjabloon. De huidige versie wordt vóór de vervanging bewaard.

De syntaxis valideren

De knop De syntaxis valideren onderzoekt de inhoud van de editor en somt de afwijkingen op, ingedeeld naar ernst:

• Fout: een Sitemap die niet absoluut is, een regel vóór elke User-agent, of een misvormde regel.
• Waarschuwing: een onbekend directief, de aanwezigheid van een BOM, het verouderde directief Noindex, of een Crawl-delay die geen getal is.
• Info: een leeg bestand (alle robots zijn toegelaten).

De validatie wijzigt het bestand niet: zij helpt u corrigeren vóór u opslaat.

Snelle sjablonen

Het menu Een sjabloon invoegen voegt kant-en-klare inhoud toe op de plaats van de cursor:

• Sitemapregel: voegt de absolute URL van uw sitemap in.
• AI-robots blokkeren: voegt een blok toe dat GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot, Bytespider en andere blokkeert.
• Alles toestaan en Alles blokkeren.

Voorbeeld van een blok dat AI-robots blokkeert:

# Blokkering van AI-robots, DataFirefly
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

Een back-up terugzetten

Elke bewaring of hergeneratie maakt een back-up van de vorige versie, die in de database wordt bewaard en dus nooit publiek bereikbaar is. De knop De back-up terugzetten schrijft die versie meteen opnieuw naar het bestand.

Rechten en probleemoplossing

Het bestand robots.txt moet beschrijfbaar zijn voor de webserver. Is dat niet zo, dan toont de module een waarschuwing en schakelt hij het opslaan uit.

chmod 644 /pad/naar/robots.txt
# als het bestand nog niet bestaat:
chmod 755 /pad/naar/de/root/

• « Alleen-lezen »: pas de rechten hierboven toe, of wijzig de eigenaar van het bestand (de gebruiker van de webserver).
• Het bestand verschijnt niet online: controleer of geen enkele server- of CDN-regel een andere, statische robots.txt uitlevert.

Multistore

robots.txt is één enkel bestand dat in de root van elk domein wordt geserveerd. Bij multistore op één domein volstaat één bestand. Bij meerdere domeinen groepeert u de secties per domein in datzelfde bestand.

Verwijderen

Het verwijderen van de module wist zijn tabblad en zijn back-up in de database. Uw bestand robots.txt wordt niet gewijzigd: het blijft zoals u het hebt opgeslagen.