Un client m'appelle, paniqué. Son site e-commerce compte 40 000 références. Search Console lui annonce 380 000 pages découvertes, et à peine 9 000 indexées. Sa première phrase : « Google n'aime pas mon site. » Sa deuxième : « On doit payer quelqu'un pour réparer ça ? » Spoiler : non. Son problème ne s'appelle pas « pénalité ». Il s'appelle crawl budget, et il se répare avec des décisions techniques précises, pas avec un chèque.
Comprendre le crawl budget change la façon dont vous regardez votre site. Ce n'est pas une notion abstraite réservée aux mastodontes à un million d'URL. C'est une ressource que Google vous alloue, que vous gaspillez souvent sans le savoir, et que vous pouvez orienter. Je vais vous montrer comment, avec la mécanique exacte et les chiffres que j'ai relevés sur mes propres projets.
Points clés à retenir
- Le crawl budget se compose de deux limites : ce que votre serveur peut encaisser et ce que Google juge utile d'explorer.
- En dessous de quelques milliers d'URL, vous ne manquez presque jamais de budget : vous avez un autre problème.
- Le vrai diagnostic se lit dans Search Console, dans l'écart entre pages découvertes, explorées et indexées.
- Les facettes, paramètres d'URL et pages orphelines consomment du crawl sans rien rapporter.
- Optimiser, c'est réduire le gaspillage avant d'augmenter la vitesse serveur.
Le crawl budget : une mécanique à deux robinets
Googlebot ne parcourt pas votre site au hasard. Il dispose d'un volume d'exploration qu'il répartit selon deux contraintes indépendantes. La première est technique : combien de requêtes votre hébergement peut absorber sans s'écrouler. La seconde est éditoriale : combien de pages Google estime devoir visiter pour bien vous représenter.
La limite imposée par votre serveur
Quand Googlebot revient trop vite, votre serveur répond en 5 secondes, ou renvoie une erreur 503. Google interprète ce signal comme un manque de capacité et réduit automatiquement sa cadence. Il ne vous punit pas : il se protège, et il vous protège. Si vous voulez un crawl plus agressif, la première question n'est pas « comment forcer Google ? » mais « mon serveur tient-il la charge ? ».
Sur un ancien projet, un hébergement mutualisé à 4 €/mois s'effondrait dès 12 requêtes simultanées. Résultat : un crawl plafonné, une indexation qui stagnait à 30 % des pages. Migration vers un serveur correctement dimensionné et passage à 78 % d'indexation en six semaines. Le contenu n'avait pas changé d'une ligne.
La demande d'exploration de Google
Le second robinet dépend de la valeur perçue de vos URL. Une page liée depuis votre navigation, présente dans votre sitemap, et qui reçoit des liens externes sera visitée vite. Une page orpheline, sans lien entrant, coincée derrière trois clics, peut attendre des mois. Google explore ce qu'il pense utile d'explorer, et il décide seul.
C'est là que réside votre marge de manœuvre réelle. Vous ne négociez pas avec l'algorithme. Vous rendez vos pages importantes faciles à trouver et vous retirez du chemin tout ce qui n'a aucune chance d'être indexé.
Comment savoir si vous êtes réellement concerné
Question qu'on me pose sans arrêt : « Est-ce que mon site a un problème de crawl budget ? » Dans 8 cas sur 10 que j'ai examinés, la réponse est non. Voici comment trancher en dix minutes, sans outil payant.
Le diagnostic dans Search Console
Ouvrez le rapport d'indexation des pages. Trois chiffres comptent, et surtout leur écart. Si vous avez 2 000 pages découvertes, 1 900 explorées et 1 800 indexées, votre crawl fonctionne : vous avez un problème de qualité ou de duplication sur 100 pages, pas de budget.
Le signal d'alerte, c'est le contraire. Des dizaines de milliers d'URL en « Découverte, actuellement non indexée », un volume qui gonfle chaque semaine, et un nombre d'explorations qui stagne. Là, vous avez un vrai problème : Google sait que ces pages existent et choisit de ne pas les visiter.
- Site de 800 pages : le crawl budget ne sera presque jamais votre goulot d'étranglement.
- Site de 15 000 pages avec 200 000 URL découvertes : vous avez créé du gaspillage.
- Site de 500 pages avec 500 000 URL découvertes : votre site génère des URL à l'infini (facettes, filtres, calendriers) et vous ne le savez peut-être pas.
Budget de crawl et santé du crawl : deux choses distinctes
Distinction que je n'ai comprise qu'après avoir mal diagnostiqué un projet. Le budget de crawl, c'est combien Google explore. La santé du crawl, c'est ce qu'il trouve en explorant : des erreurs 404 en série, des redirections en chaîne, des pages lentes. On peut avoir un budget généreux et une santé catastrophique : Google explore beaucoup, mais tombe sur des impasses à chaque visite.
Réflexe à adopter : avant de chercher à obtenir plus de budget, vérifiez que chaque visite de Googlebot ne se transforme pas en erreur serveur.
Optimiser, étape par étape
Voici la séquence que j'applique, dans cet ordre. L'inverser ne sert à rien : augmenter la vitesse serveur alors que 60 % de vos URL sont du déchet technique revient à élargir un tunnel bouché.
1. Couper le gaspillage avant tout
Les URL inutiles se cachent partout. Les filtres à facettes en sont le champion toutes catégories : un catalogue de 3 000 produits peut générer des millions de combinaisons d'URL, toutes explorables. Chaque visite de Googlebot sur une facette est une visite perdue pour une vraie fiche produit.
La parade : robots.txt pour bloquer les paramètres inutiles, noindex sur les pages de résultats de recherche interne et les pages de tri, et surtout un maillage interne qui ne pointe jamais vers ces URL. Google explore ce qu'on lui montre. Si vous ne liez pas une URL nulle part, il ne la visitera presque pas.
2. Orienter le crawl vers ce qui compte
Un sitemap XML propre, sans URL redirigées ni pages en erreur, dit à Google où concentrer son effort. Je ne mets que des URL canoniques, indexables, et je le régénère à chaque publication significative. Sur un site de 5 000 pages, un sitemap nettoyé a fait passer l'exploration des pages produits de 55 % à 92 % du total en deux mois.
Le maillage interne fait le reste. Une fiche produit liée depuis la page d'accueil, une catégorie et trois articles sera explorée bien plus vite qu'une fiche à quatre clics de profondeur. La profondeur de clic est un facteur de crawl sous-estimé.
3. Ne bridez pas Google vous-même
Vérifiez votre robots.txt. Si quelqu'un y a laissé un crawl-delay à 10 secondes, vous avez plafonné votre propre budget. Idem pour une règle Disallow oubliée sur un répertoire stratégique. J'ai vu un site bloquer tout /produits/ depuis huit mois, puis s'étonner que ses fiches ne s'indexent pas.
Ce qui coûte du budget et ce qui le libère
| Élément du site | Effet sur le crawl | Action recommandée |
|---|---|---|
| Facettes et filtres d'URL | Gaspillage massif | Bloquer via robots.txt ou noindex |
| Sitemap XML propre | Oriente vers l'essentiel | Ne garder que les URL canoniques et indexables |
| Redirections en chaîne | Consomme des visites inutiles | Corriger vers la destination finale |
| Pages orphelines | Quasi jamais explorées | Lier depuis la navigation ou supprimer |
| Serveur lent ou instable | Réduit la cadence | Monitorer le temps de réponse sous charge |
| Maillage interne dense | Accélère la découverte | Lier les pages stratégiques depuis les pages fortes |
Trois erreurs que j'ai commises (et que je vois partout)
La plus coûteuse : avoir cru qu'augmenter le budget était un réglage. J'ai perdu trois semaines sur un projet à chercher un bouton magique, alors que le problème était 18 000 URL de pagination ouverte dans le crawl. Supprimer les liens vers la pagination en profondeur a réglé la moitié du problème en dix jours.
Deuxième erreur : avoir laissé un noindex sur une catégorie entière, oublié après un test. Google explorait joyeusement ces pages pour trouver un noindex à chaque fois. Du crawl gaspillé, pour un résultat nul.
Troisième erreur, plus insidieuse : avoir confondu « indexé » et « utile ». Une page indexée qui ne reçoit aucune visite ni aucun lien est un poids mort. Elle consomme du budget qu'une page rentable aurait pu utiliser.
Ce qui reste quand on a compris
Le crawl budget n'est pas une ressource rare à obtenir : c'est une ressource mal répartie. Vous ne convaincrez pas Google de vous donner plus, mais vous pouvez lui rendre la tâche facile. Chaque URL inutile retirée de son chemin est une visite offerte à une page qui compte.
La vraie question n'est donc pas « combien de pages Google explore sur mon site », mais « sur quelles pages vais-je lui faire perdre son temps aujourd'hui ». Répondez à celle-là et le reste suit. Le site de mon client paniqué ? Quarante-huit heures de nettoyage des facettes, un sitemap repris, et son indexation a triplé sans qu'il paie le moindre « expert ».
