Comment empêcher Googlebot de gaspiller son crawl sur les filtres PrestaShop ?
Performance & Core Web Vitals

Comment empêcher Googlebot de gaspiller son crawl sur les filtres PrestaShop ?

Sur un catalogue important, une part considérable des requêtes des robots porte sur des combinaisons de filtres qui n’ont aucune vocation à être indexées. Ce temps est pris sur celui qui aurait servi à découvrir vos nouveaux produits.

Cet article traite la mesure et la mise en œuvre. Les critères de choix des facettes à ouvrir ont été détaillés séparément.

Mesurer le gaspillage avant d’agir

Aucune décision ne devrait être prise sans avoir regardé les journaux du serveur. C’est la seule source qui montre ce que les robots demandent réellement, par opposition à ce que vous pensez qu’ils demandent.

La méthode tient en trois étapes.

Extraire les requêtes des robots sur quatre semaines, en filtrant sur l’agent utilisateur et en vérifiant l’authenticité par résolution inverse de l’adresse. Une part des visites se déclarant robot ne l’est pas.

Classer les adresses demandées en quatre familles : fiches produits, catégories sans filtre, catégories avec filtres, et le reste. Cette classification se fait par motif d’URL et prend quelques minutes une fois le fichier chargé dans un tableur ou une base.

Calculer la répartition. Sur les catalogues à facettes non traitées, la part consacrée aux filtres dépasse fréquemment la moitié des requêtes, et elle peut atteindre 80 % sur les configurations les plus ouvertes.

Deux chiffres complémentaires méritent d’être relevés. La fréquence de passage sur vos fiches produits : si un produit n’est visité qu’une fois par mois, votre budget d’exploration est saturé ailleurs. Et le délai de découverte de vos dernières nouveautés, entre mise en ligne et première visite.

Ce que révèlent les journaux

Trois constats reviennent systématiquement sur les catalogues jamais traités.

Les combinaisons profondes. Des adresses portant trois, quatre ou cinq filtres simultanés, qui n’ont aucune chance d’être indexées et qui représentent pourtant un volume important.

Les paramètres de tri. La même liste de produits demandée dans six ordres différents. Aucun de ces états n’apporte quoi que ce soit à l’index.

Les facettes sans résultat. Des combinaisons qui ne renvoient aucun produit, explorées malgré tout parce que le lien existe dans la page.

Ce dernier point est le plus révélateur : votre interface propose des liens vers des sélections vides, ce qui est déjà un problème pour vos visiteurs avant d’en être un pour le crawl.

Pourquoi les directives classiques ne suffisent pas

Le réflexe consiste à poser une directive noindex sur ces pages. Elle règle l’indexation, pas l’exploration : la page doit être visitée pour que la directive soit lue.

Le blocage dans le fichier robots empêche l’exploration, mais il a deux inconvénients. Les pages déjà indexées peuvent y rester, sans que leur contenu puisse être relu pour comprendre qu’il faut les retirer. Et le blocage se contourne mal : une adresse bloquée mais massivement liée depuis vos pages reste connue.

Ces deux outils restent utiles. Ils interviennent simplement après que le robot a découvert l’adresse.

Obfuscation de Liens SEO : masquer les liens à facettes et optimiser le crawl budgetRetirez les liens à facettes du code source servi aux crawlers, sans toucher à l'expérience de vos visiteurs€79.00

Ne pas donner le lien

L’approche complémentaire consiste à ne pas exprimer ces liens comme des liens.

Le principe : le comportement de navigation est produit par un script attaché à un élément qui n’est pas un lien au sens du protocole. Le visiteur clique et navigue normalement, le robot ne trouve aucune adresse à suivre.

Trois conditions pour que ce soit propre.

L’élément doit rester accessible. Un élément cliquable qui n’est pas un lien doit porter les attributs qui le rendent utilisable au clavier et compréhensible par un lecteur d’écran. Sans cela, vous réglez un problème de crawl en créant un problème d’accessibilité.

La navigation doit rester fonctionnelle. L’adresse doit changer, le retour arrière doit marcher, le lien doit rester partageable. L’obfuscation porte sur la façon dont le lien est exprimé dans le code, pas sur la disparition de l’adresse.

Le périmètre doit être limité. N’appliquez ce traitement qu’aux liens que vous ne voulez pas voir explorés. Votre navigation principale, vos catégories et vos facettes ouvertes doivent rester des liens normaux.

Ce qu’il ne faut pas en faire

Deux dérives à écarter clairement.

Masquer des liens vers du contenu que vous voulez indexer, en espérant contrôler la distribution de valeur. C’est une pratique ancienne, inefficace, et elle prive vos pages de liens entrants.

Présenter au robot une page différente de celle du visiteur. L’obfuscation de lien ne change pas le contenu servi, elle change la façon dont un élément d’interface est écrit. La différence est nette et il faut s’y tenir : servir un contenu distinct selon l’agent est une pratique sanctionnée.

Les autres leviers

L’obfuscation n’est pas le seul outil, et elle n’est pas toujours le premier.

Réduire le nombre de filtres proposés. Beaucoup de catalogues affichent douze facettes dont quatre sont utilisées. Retirer les inutiles réduit mécaniquement la combinatoire et simplifie l’interface.

Masquer les filtres sans résultat. Une valeur qui ne renvoie rien ne devrait pas être proposée. Cela supprime des liens inutiles et améliore l’expérience.

Charger les filtres à la demande. Sur mobile, le panneau de filtres est souvent replié : si son contenu n’est présent qu’après ouverture, les liens ne sont pas dans la page servie.

Soigner le sitemap. Il doit contenir vos pages utiles et rien d’autre. Un sitemap qui liste des combinaisons de filtres invite explicitement à les explorer.

Contrôler après mise en place

Quatre indicateurs, relevés avant puis à un mois et à trois mois.

La répartition des requêtes robots par famille d’URL, sur la même méthode qu’au départ. C’est la mesure directe de l’effet.

Le nombre total de pages explorées par jour, dans les statistiques d’exploration. Attention à l’interprétation : une baisse est attendue et souhaitable ici, contrairement à ce qu’on croit d’habitude.

La fréquence de visite des fiches produits, qui devrait augmenter puisque le temps libéré se redéploie.

Le délai de découverte des nouveautés, qui est l’indicateur final : c’est pour lui que le chantier est mené.

Un point de méthode : laissez trois à quatre semaines avant de conclure. La redistribution du budget d’exploration ne se voit pas immédiatement.

Ce qui peut mal tourner

Trois situations à surveiller après la mise en place.

Des pages utiles devenues inaccessibles. Si une facette que vous vouliez ouvrir se retrouve dans le périmètre obfusqué, elle perd ses liens entrants. Vérifiez que vos pages ouvertes restent liées depuis un endroit normal.

Une navigation cassée au clavier. Le test se fait en trente secondes : parcourez les filtres avec la touche de tabulation et vérifiez qu’ils sont atteignables et activables.

Une baisse de trafic sur les pages de facettes. Si vous en aviez qui recevaient du trafic et qu’elles ont été prises dans le périmètre, la baisse apparaît en trois à six semaines. D’où l’intérêt de relever les positions avant.

Le module Obfuscation de Liens SEO pour PrestaShop met en place ce dispositif sur PrestaShop 8 et 9 : traitement sélectif des liens de filtres et de tri avec exclusion des facettes ouvertes, conservation du comportement de navigation et des attributs d’accessibilité, et périmètre paramétrable par catégorie.

À lire ensuite

Articles similaires