Budget d'exploration : de quoi s'agit-il vraiment ?

Le budget d'exploration revient souvent dans les audits, parfois à tort. Pour la majorité des sites, ce n'est pas le facteur limitant : une page absente de l'index l'est pour d'autres raisons. Comprendre la notion permet de savoir quand elle mérite du travail et quand elle sert d'explication commode.

Que recouvre la notion ?

Le budget d'exploration est la quantité de pages qu'un robot d'exploration parcourt sur un site pendant une période donnée. Google décrit deux composantes.

• La limite liée au serveur : le robot ajuste son rythme pour ne pas dégrader le site. Un serveur lent ou qui renvoie des erreurs le fait ralentir.
• L'intérêt porté au site : le moteur explore davantage les adresses qu'il juge utiles et mises à jour, moins celles qui ne changent jamais ou qui se ressemblent.

Explorer n'est pas indexer. Une page peut être parcourue sans être retenue dans l'index, comme le détaille notre article sur une page non indexée.

Pour quels sites la question se pose-t-elle ?

Avant d'invoquer le budget d'exploration, vérifiez donc les causes plus fréquentes : consigne de non-indexation, page bloquée, contenu jugé insuffisant, adresse orpheline sans lien entrant.

Qu'est-ce qui gaspille l'exploration ?

1. Les combinaisons de filtres et de tris qui produisent des adresses presque identiques.
2. Les chaînes de redirections : chaque étape consomme une requête. Une redirection 301 doit mener directement à la destination finale.
3. Les pages d'erreur douces : une page qui annonce « aucun résultat » tout en répondant comme une page normale.
4. Les adresses issues de paramètres de session, différentes à chaque visite.
5. Les fichiers volumineux inutiles au contenu, servis à chaque passage.
6. Les pages de faible valeur conservées par habitude, jamais consultées.

Comment observer le comportement des robots ?

Deux sources se complètent. Le rapport d'exploration de la console destinée aux éditeurs indique le volume de pages parcourues, les temps de réponse et les erreurs rencontrées. Les journaux du serveur, eux, montrent exactement quelles adresses ont été visitées, par quel robot et avec quel code de réponse.

Cherchez dans ces données les signaux suivants : une part importante de requêtes sur des adresses à paramètres, des erreurs serveur récurrentes, des temps de réponse qui augmentent, ou des robots qui insistent sur des sections sans intérêt.

Que faire concrètement ?

• Empêcher l'exploration des motifs d'adresses sans valeur dans le fichier robots.txt.
• Supprimer les chaînes de redirections en pointant directement vers la destination.
• Renvoyer un vrai code d'erreur pour les pages qui n'existent plus.
• Maintenir un plan de site à jour, limité aux adresses à indexer.
• Corriger les lenteurs du serveur, qui font baisser le rythme d'exploration.
• Réduire le nombre de pages plutôt que de les multiplier : un site plus petit et plus dense s'explore mieux.

Ces réglages relèvent autant de l'hébergement que du code. NexSecure les traite dans le cadre de ses prestations d'hébergement en France.