Google indique que la demande d’analyse et le taux d’indexation constituent le budget d’analyse GoogleBot pour votre site Web. Gary Illyes de l’équipe Google a écrit un billet de blog intitulé « What Crawl Budget Means » pour Googlebot. Il explique dans cet article ce qu’est le budget d’exploration, comment fonctionnent les limites des taux d’analyse, qu’est ce que la demande d’analyse et quels facteurs influent sur le budget d’exploration d’un site.
Le budget d’exploration expliqué par Google
Google a des milliards de sites à explorer chaque jour. Gary explique dans son article de blog que pour la plupart des sites, le budget d’exploration n’est pas de grande importance pour un webmaster lambda. Pour les sites de taille importante, il devient alors un point important à analyser dans sa stratégie de référencement. Pour ces sites, Gary indique :
“Prioritizing what to crawl, when, and how much resource the server hosting the site can allocate to crawling is more important for bigger sites, or those that auto-generate pages based on URL parameters,”
Donner des priorités à ce que Google doit crawler (parcourir) en lui indiquant la fréquence, la répétition et les ressources allouées, est plus important pour des sites de grosses tailles avec des milliers d’URLs ou des URLs générées automatiquement sur la base de paramètres.
L’article aborde les points suivants :
- La limite de la vitesse d’exploration est conçue pour aider Google à ne pas trop analyser vos pages, ni trop vite, là où cela nuit à votre serveur.
- La demande d’analyse est la mesure dans laquelle Google souhaite analyser vos pages. Cela est basé sur la popularité de vos pages et comment est positionné le contenu dans l’index de Google.
- Le budget d’analyse «prend en compte le taux d’analyse et la demande d’analyse». Google définit le budget d’analyse comme «le nombre d’URL que Googlebot peut et veut analyser».
Retrouvez l’intégralité de l’article concernant le budget de craw de Google sur le Blog Officiel Google
Professionnel du SEO, je prends le temps d’analyser en détails les rapports d’exploration et l’analyse de log pour déterminer la façon dont Google crawl un site. J’y passe évidemment plus de temps pour les gros sites pour que pour les petits sites. Il est évident que Google limite la quantité de données à analyser par site.
