Tout savoir sur les robots d’exploration Googlebot
Si vous suivez régulièrement notre blog ou que vous vous intéressez au digital, vous devez savoir qu’optimiser votre référencement naturel et/ou payant est essentiel pour obtenir du trafic. L’objectif est d’apparaître au plus haut des pages de résultats Google. Mais savez-vous comment fonctionne le moteur de recherche Google ?
Il utilise des robots d’exploration, appelés Googlebot. Les connaître et les comprendre sont les étapes incontournables pour réussir sur Google. Aujourd’hui, nous vous les présentons.
Googlebot, le robot de Google
Googlebot est le nom donné au robot d’exploration, ou User-Agent du moteur de recherche Google. C’est un programme informatique qui crawl et indexe les pages internet. Qu’est-ce que ça veut dire ? Crawler signifie que le robot de Google explore toutes les pages de votre site internet et suit les liens présents. Indexer est l’étape qui suit celle du crawl. En effet, c’est seulement si le Googlebot juge votre page digne d’être présente dans les résultats des moteurs de recherche, qu’il l’indexera.
Il n’est pas rare de confondre les termes crawler et indexer. C’est la raison pour laquelle Google propose dans ses pages d’aide, un test en ligne qui permet d’évaluer ses connaissances. La correction est très détaillée, ce qui permet de considérablement progresser. Rendez-vous sur la page pour avoir accès aux 14 questions !
Vous pouvez voir passer sur votre site web plusieurs types de robots Google, comme : Googlebot, Googlebot pour smartphone, Googlebot-image, Googlebot-news …
Comment assurer l'indexation de vos pages ?
Pour que vos pages apparaissent sur la SERP (page de résultats de Google), il faut qu’elles soient indexées, c’est-à-dire qu’il faut que le contenu des pages soit stocké dans les serveurs de Google.
Pour cela, misez sur les liens externes. Nous vous avions déjà présenté cette technique dans nos conseils pour optimiser votre référencement naturel. S’ils sont si importants, c’est parce qu’on dit que Google explore à un niveau de profondeur de 5. C’est-à-dire que le robot de Google va chercher jusqu’à cinq sites en aval. Ainsi, si une page est liée à une page, qui est liée à une page qui est liée à votre page, alors les sites de toutes ces pages (dont le vôtre) seront explorés.
Certains outils externes au moteur de recherche peuvent vous aider à forcer l’indexation de vos pages par Google :
Comment forcer le crawl de Google
Aujourd’hui, les moteurs de recherche comme Google ont des robots qui crawlent en permanence le web. Il faut savoir que les robots visitent plus fréquemment les pages dont les contenus sont mis à jour régulièrement plutôt que celles dites “statiques”. Ainsi, des pages d’actualité sont crawlées et indexées plusieurs fois par jour.
Pour que Googlebot vienne crawler votre page, vous pouvez soumettre votre URL sur la Google Search Consol en l’entrant dans la rubrique “Inspection de l’URL”. Cet outil vous permet de pousser à Google à visiter l’URL que vous avez jugé important et de suivre l’avancement de son indexation.
Vous pouvez aller plus loin en téléversant sur votre Google Search Consol un sitemap XML. Il s’agit d’un fichier listant les URL de votre site. Dans la Google Search Consol, les moteurs pourront consulter ce “plan de site” et iront explorer les URL listés, puis les indexer.
Nous vous conseillons globalement de vous appliquer sur l’ensemble des critères SEO. En effet, optimiser son SEO favorise l’exploration (le crawl) de vos pages par Google. Faites donc attention à lier vos pages entre elles pour aider Google à naviguer rapidement d’une page à l’autre. Évitez les pages orphelines. Soyez également attentif au DFI (Distance From Index) : faites en sorte que toutes vos pages soient accessibles en 3 clics depuis la page d’accueil de votre site. Moins il y aura de clic, plus Google considérera la page comme prioritaire.
Enfin, il existe comme pour l’indexation, certains outils qui permettent d’analyser le crawl de vos pages internet :
Pour conclure, nous espérons que Googlebot n’a plus de secrets pour vous ou du moins que vous avez compris la différence entre le crawl et l’indexation. Des pages crawlées puis indexées sont le seul moyen d’assurer leurs présences sur la page de résultats de Google.
Avez-vous d’autres conseils à nous proposer pour accélérer l’indexation et le crawl de Googlebot ? N’hésitez pas à nous laisser vos commentaires ou à vous faire accompagner par une équipe d’experts.
Les experts de cet article :
Elise Rocchesani
Digital Manager
Bleu Ebène
