Un blog de mille articles devrait se faire avaler par Googlebot en quelques jours. Pourtant, quand on ouvre les logs du serveur, on voit les mêmes URL de catégories revenir sans arrêt, pendant que des articles travaillés attendent leur tour. Le problème n’est pas que le robot manque de temps. C’est qu’on lui sert la même assiette de liens vides à chaque passage, et qu’il finit par croire que le site entier ressemble à ça.
Le crawl budget n’est pas la cause, la demande l’est
Le crawl budget se calcule comme le produit du crawl rate par le crawl demand, et cette distinction change tout. Le crawl rate, c’est ce que le serveur accepte de laisser passer. Le crawl demand, c’est l’envie du robot de revenir. Sur un site de moins de mille pages, le premier terme suffit largement, et Googlebot visite l’intégralité du site en quelques jours.
Alors pourquoi des articles restent-ils invisibles ? Parce que la demande se concentre sur des pages qui n’ont aucune valeur à offrir. Si vous voulez comprendre les bases de ce mécanisme, georgestron.fr détaille les signaux qui pèsent réellement sur la fréquence de passage.
Une catégorie génère typiquement une pagination, des filtres de tri, des paramètres d’affichage, parfois des versions avec et sans slash. Chacune de ces variantes est une URL distincte, indexable, et surtout explorable. Le robot suit ces liens depuis chaque article, revient sur la catégorie, repart dans la pagination, et n’a plus beaucoup d’envies pour le contenu qui mérite vraiment un passage. Le budget n’est pas épuisé. Il est mal dépensé.
Ce que les catégories racontent au robot sur la qualité du site
Imaginez un robot qui débarque sur une page de catégorie généraliste. Il voit un titre, une liste de liens, des extraits tronqués et rien d’autre. Il en déduit une chose simple : cette page ressemble à des dizaines d’autres qu’il a déjà vues, sur d’autres sites, avec le même gabarit.
Sa décision de revenir bientôt sur ce type d’URL devient logiquement plus faible. Et cette faiblesse se propage au site entier, parce que les robots raisonnent à l’échelle du domaine avant de raisonner page par page.
Les signaux négatifs comptent aussi. Un site qui traîne beaucoup de 404, de timeouts ou de pages dupliquées voit son crawl rate réduit, et ce n’est pas une vue de l’esprit : c’est un comportement documenté par les outils d’analyse de logs.
Or les catégories sont le premier endroit où apparaissent les liens morts, quand un article change de slug ou quand un filtre pointe vers une combinaison qui n’existe pas. Le robot apprend alors à se méfier, et il ralentit sur l’ensemble du domaine, y compris sur les pages irréprochables.
La question du volume entre en jeu à partir d’environ dix mille pages, ou dès qu’un site contient beaucoup de pages inutiles. Beaucoup de blogs généralistes atteignent ce seuil sans s’en rendre compte : chaque catégorie multipliée par chaque filtre multiplie le nombre d’URL réelles. Le budget devient alors un sujet, non parce qu’il est petit, mais parce qu’on lui donne trop à manger.
La cannibalisation entre catégories et articles
Autre conséquence, moins visible dans les logs mais tout aussi coûteuse : deux pages du même site se disputent les mêmes mots-clés ou des mots-clés très similaires. C’est la définition de la cannibalisation, et les catégories en sont les championnes. Un article sur le référencement technique côtoie une catégorie « référencement technique » qui reprend la même requête principale dans son titre. Google doit choisir, hésite, et finit souvent par afficher la page la plus faible des deux.
Le résultat est contre-intuitif. L’article travaille, obtient des liens internes, se positionne, puis la catégorie vient lui voler la place parce qu’elle reçoit plus de liens entrants depuis la navigation. Sur un blog généraliste, ce scénario se répète à chaque nouvelle thématique créée. La catégorie absorbe la visibilité, l’article stagne en deuxième page, et personne ne comprend pourquoi une page si bien rédigée ne décolle pas. Sur ce point, voir aussi notre article sur page indexee sans contenu.
Les cas où la catégorie reste utile
Il ne s’agit pas de supprimer toutes les catégories, ce serait une réaction excessive. Certaines jouent un rôle réel dans la découverte des contenus et dans la structure du maillage. La bonne question n’est pas « faut-il des catégories » mais « cette catégorie apporte-t-elle quelque chose qu’aucun article n’apporte ». Voici les situations qui méritent réflexion.
- Une catégorie avec un texte éditorial propre et plusieurs articles solides se défend très bien.
- Les filtres de tri, en revanche
- Combien de vos catégories n’ont qu’un ou deux articles à afficher ?
- Une page de catégorie peut servir de page d’atterrissage pour le maillage interne sans être indexée.
- Les tags générés automatiquement à chaque publication créent des pages vides qu’il vaut mieux couper.
Les bots IA ont un budget bien plus serré
GPTBot, PerplexityBot et ClaudeBot ne fonctionnent pas comme Googlebot. Leur crawl budget est beaucoup plus limité, et leur tolérance aux URL inutiles est proche de zéro. Pendant que Googlebot explore l’ensemble du site en quelques jours, ces robots doivent choisir une fraction des pages qu’ils visitent. Chaque URL de catégorie qu’ils croisent est une page qu’ils n’utiliseront pas pour découvrir un article, et chaque article non découvert est un contenu qui n’apparaîtra jamais dans une réponse générative.
C’est là que le bât blesse pour un blog généraliste. Si les catégories occupent la moitié des liens internes et de la navigation, les robots IA n’atteignent les articles qu’après plusieurs sauts, souvent après avoir abandonné. Le référencement dans les moteurs classiques reste correct, mais la présence dans les réponses IA s’effondre, sans qu’on comprenne pourquoi. Le crawl demand de ces robots est pourtant ce qui décide de la visibilité d’un contenu dans les outils conversationnels.
Je pense qu’il faut arrêter de raisonner uniquement en nombre de pages indexées. Ce qui compte, c’est le ratio entre les pages utiles et les pages explorables. Un site de trois cents articles avec quarante catégories mal fignolées se retrouve à explorer plus de pages intermédiaires que de contenus réels. Réduire ce ratio est souvent plus rentable qu’écrire dix nouveaux articles.

Réduire l’exploration sans perdre les visiteurs
La première mesure consiste à bloquer les variantes de paramètres dans le fichier robots.txt, en laissant ouvertes les seules URL canoniques. Les filtres de tri et de pagination profonde n’ont pas besoin d’être explorés pour être utiles aux visiteurs.
Pensez à vérifier ce que vos catégories génèrent réellement en explorant le sitemap et en comparant avec les logs. La seconde mesure consiste à couper l’indexation des pages sans contenu éditorial propre, tout en gardant les liens de navigation en place.
Le maillage interne mérite aussi un nettoyage. Si chaque article pointe vers sa catégorie en début et en fin de page, vous renforcez la page la plus faible du duo. Mieux vaut pointer vers deux ou trois articles voisins, qui ont un intérêt pour le lecteur et qui redistribuent la valeur vers le contenu. Une catégorie peut rester accessible sans être la destination principale de chaque lien contextuel.

Le vrai tri se fait à la main, pas dans le crawl
Les catégories ne filtrent pas mal le crawl parce que le budget manque. Elles filtrent mal parce qu’on leur confie un rôle qu’elles ne peuvent pas jouer, et parce qu’on les laisse occuper l’espace que les articles devraient occuper.
Sur un site de moins de mille pages, le crawl n’est presque jamais saturé, et le vrai chantier reste la qualité des URL présentées aux robots, Googlebot comme les autres. Nettoyer les catégories creuses, fusionner les doublons, couper les variantes inutiles prend une journée. Combien de vos pages explorées méritent vraiment d’être lues par un robot ?