Googlebot, le robot d'exploration de Google, ne peut pas tout crawler, tout le temps, partout. Il répartit ses ressources sur l'ensemble du web, et chaque site reçoit donc une part : son budget de crawl. Concrètement, c'est le nombre de pages que Googlebot va explorer chez vous sur une période donnée, par exemple par jour.
Ce budget repose sur deux ingrédients. D'abord la capacité de crawl : Googlebot ajuste sa cadence pour ne pas saturer votre serveur. Un site rapide et stable autorise plus d'exploration, un serveur lent ou qui renvoie des erreurs fait baisser le rythme. Ensuite la demande de crawl : Google explore davantage les sites qu'il juge importants, populaires et fréquemment mis à jour. Un site qui publie souvent du contenu de qualité voit son budget augmenter naturellement.
Le problème surgit quand Googlebot dépense son enveloppe sur des pages sans valeur, au détriment de vos contenus importants. Les coupables sont presque toujours les mêmes. Les URL en doublon et les variantes d'une même page (avec ou sans barre finale, en majuscules, avec des paramètres de tri) multiplient les chemins vers un contenu identique. Les pages à facettes des e-commerces, qui croisent filtres de couleur, taille et prix, génèrent un nombre quasi infini d'URL combinatoires. Les chaînes de redirections obligent le robot à suivre plusieurs sauts pour atteindre une seule page. Et les pages d'erreur ou de faible qualité consomment du crawl pour rien.
Bloquer l'inutile dans le robots.txt. Le fichier robots.txt permet d'interdire l'exploration de zones sans valeur SEO (paramètres de tri, espaces de recherche interne, pages techniques). Googlebot ne perd plus de budget à les parcourir.
Tenir un sitemap propre. Le sitemap XML liste les URL que vous voulez voir indexées. En n'y mettant que les pages canoniques et utiles, vous orientez Googlebot vers l'essentiel et signalez les contenus prioritaires.
Éliminer les doublons. Consolidez les contenus dupliqués et utilisez la balise canonique pour désigner la version de référence quand plusieurs URL mènent au même contenu. Le robot concentre alors son effort sur une seule version.
Raccourcir les redirections. Remplacez les chaînes de redirections successives par une redirection directe vers la destination finale. Chaque saut évité est du budget récupéré.
Soigner le maillage interne et la vitesse. Un bon maillage interne met en avant les pages importantes et aide Googlebot à les trouver vite. Un serveur rapide, lui, autorise une cadence d'exploration plus élevée.
Mettons les choses en perspective : la plupart des sites n'ont pas à se soucier du budget de crawl. Si votre site compte quelques centaines ou quelques milliers de pages, Googlebot les explore sans difficulté et le budget n'est jamais un goulot d'étranglement. Investir du temps dans cette optimisation y serait peu rentable.
Le sujet devient stratégique au-delà d'un certain volume, en général à partir de plusieurs dizaines ou centaines de milliers d'URL, et pour tous les sites qui génèrent automatiquement énormément de pages : grands e-commerces avec filtres, sites d'annonces, agrégateurs, portails à facettes. Là, le moindre gaspillage se chiffre en milliers de pages mal explorées, et l'optimisation du crawl peut faire une vraie différence sur le volume de pages réellement indexées et à jour. Pour savoir où vous en êtes, le rapport Statistiques d'exploration de la Search Console montre combien de pages Googlebot crawle chez vous et lesquelles.
