Comment empêcher Googlebot de gaspiller son crawl sur les filtres PrestaShop ?
Prestaties & Core Web Vitals

Hoe verhindert u dat Googlebot zijn crawlbudget verspilt op PrestaShop-filters?

Op een grote catalogus betreft een aanzienlijk deel van de robotaanvragen filtercombinaties die geen enkele roeping hebben om geïndexeerd te worden. Die tijd wordt genomen van de tijd die had gediend om uw nieuwe producten te ontdekken.

Dit artikel behandelt de meting en de implementatie. De keuzecriteria voor de te openen facetten werden apart gedetailleerd.

De verspilling meten voor u handelt

Geen enkele beslissing zou moeten worden genomen zonder de serverlogboeken te hebben bekeken. De enige bron die toont wat de robots daadwerkelijk aanvragen, in tegenstelling tot wat u denkt dat ze aanvragen.

De methode telt drie stappen.

De robotaanvragen extraheren over vier weken, met filtering op de user agent en verificatie van de authenticiteit door omgekeerde resolutie van het adres. Een deel van de bezoeken die zich robot verklaren, is het niet.

De aangevraagde adressen klasseren in vier families: productpagina’s, categorieën zonder filter, categorieën met filters, en de rest. Die classificatie gebeurt per URL-patroon en duurt enkele minuten zodra het bestand in een spreadsheet of een database is geladen.

De verdeling berekenen. Op catalogi met onbehandelde facetten overschrijdt het aan filters bestede deel frequent de helft van de aanvragen, en het kan 80% bereiken op de meest open configuraties.

Twee aanvullende cijfers verdienen te worden genoteerd. De bezoekfrequentie van uw productpagina’s: wordt een product maar één keer per maand bezocht, dan is uw crawlbudget elders verzadigd. En de ontdekkingstermijn van uw laatste nieuwigheden, tussen onlineplaatsing en eerste bezoek.

Wat de logboeken onthullen

Drie vaststellingen komen systematisch terug op nooit behandelde catalogi.

De diepe combinaties. Adressen met drie, vier of vijf gelijktijdige filters, die geen enkele kans hebben geïndexeerd te worden en toch een groot volume vertegenwoordigen.

De sorteerparameters. Dezelfde productlijst aangevraagd in zes verschillende volgordes. Geen enkele van die staten brengt iets aan de index.

De facetten zonder resultaat. Combinaties die geen enkel product teruggeven, toch gecrawld omdat de link in de pagina bestaat.

Dat laatste punt is het meest onthullend: uw interface biedt links naar lege selecties, wat al een probleem is voor uw bezoekers voor het er een wordt voor het crawlen.

Waarom de klassieke richtlijnen niet volstaan

De reflex bestaat erin een noindex-richtlijn op die pagina’s te plaatsen. Ze regelt de indexering, niet het crawlen: de pagina moet worden bezocht opdat de richtlijn wordt gelezen.

De blokkering in het robotsbestand verhindert het crawlen, maar ze heeft twee nadelen. De al geïndexeerde pagina’s kunnen erin blijven, zonder dat hun content kan worden herlezen om te begrijpen dat ze verwijderd moeten worden. En de blokkering omzeilt zich slecht: een geblokkeerd maar massaal vanuit uw pagina’s gelinkt adres blijft bekend.

Beide instrumenten blijven nuttig. Ze komen eenvoudigweg tussen nadat de robot het adres heeft ontdekt.

SEO Link Obfuscation: facetlinks verbergen en het crawlbudget optimaliserenHaal facetlinks uit de broncode die aan crawlers wordt geserveerd, zonder de ervaring van uw bezoekers te raken€79,00

De aanvullende aanpak bestaat erin die links niet als links uit te drukken.

Het principe: het navigatiegedrag wordt geproduceerd door een script gekoppeld aan een element dat geen link is in de zin van het protocol. De bezoeker klikt en navigeert normaal, de robot vindt geen enkel adres om te volgen.

Drie voorwaarden opdat het proper is.

Het element moet toegankelijk blijven. Een klikbaar element dat geen link is, moet de attributen dragen die het bruikbaar maken met het toetsenbord en begrijpbaar voor een schermlezer. Zonder dat regelt u een crawlprobleem door een toegankelijkheidsprobleem te creëren.

De navigatie moet functioneel blijven. Het adres moet veranderen, de terugkeer moet werken, de link moet deelbaar blijven. De obfuscatie betreft de manier waarop de link in de code wordt uitgedrukt, niet het verdwijnen van het adres.

De perimeter moet beperkt zijn. Pas deze behandeling alleen toe op de links die u niet gecrawld wilt zien. Uw hoofdnavigatie, uw categorieën en uw geopende facetten moeten normale links blijven.

Wat u er niet mee moet doen

Twee ontsporingen om duidelijk uit te sluiten.

Links verbergen naar content die u wilt indexeren, in de hoop de waardeverdeling te controleren. Een oude, inefficiënte praktijk, en ze ontneemt uw pagina’s inkomende links.

Aan de robot een andere pagina presenteren dan aan de bezoeker. De linkobfuscatie verandert de geserveerde content niet, ze verandert de manier waarop een interface-element wordt geschreven. Het verschil is duidelijk en men moet zich eraan houden: aparte content serveren naargelang de agent is een bestrafte praktijk.

De andere hefbomen

De obfuscatie is niet het enige instrument, en ze is niet altijd het eerste.

Het aantal aangeboden filters verminderen. Veel catalogi tonen twaalf facetten waarvan er vier worden gebruikt. De nutteloze verwijderen vermindert mechanisch de combinatoriek en vereenvoudigt de interface.

De filters zonder resultaat verbergen. Een waarde die niets teruggeeft, zou niet mogen worden aangeboden. Dat verwijdert nutteloze links en verbetert de ervaring.

De filters op aanvraag laden. Op mobiel is het filterpaneel vaak ingevouwen: is zijn inhoud pas na opening aanwezig, dan staan de links niet in de geserveerde pagina.

De sitemap verzorgen. Hij moet uw nuttige pagina’s bevatten en niets anders. Een sitemap die filtercombinaties oplijst, nodigt expliciet uit ze te crawlen.

Controleren na de opzet

Vier indicatoren, opgenomen ervoor en dan na een maand en na drie maanden.

De verdeling van de robotaanvragen per URL-familie, met dezelfde methode als bij het vertrek. De directe meting van het effect.

Het totale aantal gecrawlde pagina’s per dag, in de crawlstatistieken. Let op de interpretatie: een daling is hier verwacht en gewenst, in tegenstelling tot wat men gewoonlijk denkt.

De bezoekfrequentie van de productpagina’s, die zou moeten stijgen aangezien de vrijgekomen tijd zich herverdeelt.

De ontdekkingstermijn van de nieuwigheden, de eindindicator: voor hem wordt dit werk gedaan.

Een methodepunt: laat drie tot vier weken voor u concludeert. De herverdeling van het crawlbudget is niet onmiddellijk zichtbaar.

Wat mis kan gaan

Drie situaties om na de opzet te bewaken.

Nuttige pagina’s die onbereikbaar zijn geworden. Belandt een facet dat u wilde openen in de geobfusceerde perimeter, dan verliest het zijn inkomende links. Controleer dat uw geopende pagina’s gelinkt blijven vanaf een normale plek.

Een gebroken toetsenbordnavigatie. De test duurt dertig seconden: doorloop de filters met de tabtoets en controleer dat ze bereikbaar en activeerbaar zijn.

Een verkeersdaling op de facetpagina’s. Had u er die verkeer ontvingen en zijn ze in de perimeter meegenomen, dan verschijnt de daling in drie tot zes weken. Vandaar het nut de posities vooraf te noteren.

De SEO Linkobfuscatie module voor PrestaShop zet dit systeem op op PrestaShop 8 en 9: selectieve behandeling van de filter- en sorteerlinks met uitsluiting van de geopende facetten, behoud van het navigatiegedrag en de toegankelijkheidsattributen, en instelbare perimeter per categorie.

Lees verder

Gerelateerde artikelen