Sitemap et robots.txt : comment Google lit correctement votre site

Avant même que votre site web puisse apparaître chez Google, Google doit d'abord le lire. Pour cela, le moteur de recherche envoie de petits programmes, appelés « crawlers », qui se déplacent de lien en lien à travers votre site et notent ce qu'ils trouvent. Deux fichiers discrets les y aident énormément : la sitemap et le robots.txt. La plupart des entrepreneurs n'en ont jamais entendu parler, alors qu'ils contribuent à déterminer à quel point vous êtes bien trouvé.

Pas d'inquiétude : vous n'avez pas à programmer cela vous-même. Mais comprendre ce que font ces deux fichiers vous aide à poser les bonnes questions et à éviter les mauvaises surprises. Je l'explique comme je l'expliquerais à un client à la table de la cuisine.

Comment Google trouve votre site

Imaginez Google comme un visiteur qui n'est jamais venu chez vous et n'a pas de plan de ville. Il arrive sur votre page d'accueil, puis suit chaque lien qu'il découvre, vers la page « À propos », vers les prestations, vers le contact. Il se construit ainsi peu à peu une image de tout votre site. On appelle ce processus le crawling.

Le problème : si un lien n'apparaît nulle part, Google passe peut-être complètement à côté de la page qui se cache derrière. Et sur les sites plus grands, le crawler perd parfois de vue ce qui est important et ce qui ne l'est pas. C'est précisément là qu'entrent en jeu nos deux assistants.

La sitemap : votre table des matières pour Google

Une sitemap n'est rien d'autre qu'une liste ordonnée de toutes les pages que vous souhaitez voir chez Google. Elle repose sous forme d'un petit fichier (le plus souvent sitemap.xml) sur votre serveur et dit clairement au moteur de recherche : « Voici toutes mes pages, regarde-les s'il te plaît. »

Vous ne laissez ainsi plus au hasard le fait que Google trouve chaque recoin de votre site. C'est surtout utile lorsque :

• votre site est nouveau et n'a encore guère de liens depuis l'extérieur,
• vous avez de nombreuses sous-pages, par exemple un blog ou un catalogue de produits,
• certaines pages sont mal liées en interne et seraient sinon négligées.

Une sitemap ne garantit pas un classement en tête, mais elle fait en sorte que Google sache au moins que vos pages existent. Et ce que Google ne connaît pas, il ne peut le montrer à personne.

Le robots.txt : le videur de votre site

Le robots.txt est l'antagoniste de la sitemap. Là où la sitemap invite, le robots.txt peut poliment décliner. C'est un minuscule fichier texte qui dit à Google quels domaines il ferait mieux de ne pas regarder.

Pourquoi voudrait-on interdire quoi que ce soit à Google ? Parce que toute page n'est pas destinée au public. Exemples typiques :

• des espaces de connexion internes ou des pages d'administration,
• des pages de remerciement qui n'apparaissent qu'après l'envoi d'un formulaire,
• des pages en double ou techniques qui ne feraient que gêner dans les résultats de recherche.

À savoir : le robots.txt est une prière, pas un verrou. Les moteurs de recherche sérieux s'y tiennent, mais il ne protège aucune donnée sensible. Ce qui est vraiment confidentiel doit se trouver derrière un mot de passe, pas seulement derrière une entrée dans le robots.txt.

L'erreur la plus fréquente, et pourquoi elle coûte cher

Je le vois sans cesse : dans le robots.txt figure par mégarde une ligne qui interdit à Google tout le site. Cela arrive plus vite qu'on ne le pense, par exemple lorsqu'un site a été volontairement caché de Google pendant sa construction et qu'on oublie de retirer le blocage avant le lancement.

La conséquence est amère : le site est en ligne, il est joli, il fonctionne, et pourtant il n'apparaît nulle part chez Google, parce qu'une seule ligne repousse le crawler à la porte. Pendant des semaines, on s'étonne de ne recevoir aucune demande. C'est pourquoi un coup d'œil au robots.txt fait partie des premières choses que je contrôle après chaque lancement.

Comment les deux jouent ensemble

Le mieux est de penser à un bâtiment : la sitemap est le panneau indicateur à l'entrée, qui liste toutes les pièces que les visiteurs doivent voir. Le robots.txt est l'inscription sur les portes, qui signale les pièces privées comme « non publiques ». Ensemble, ils font en sorte que Google soit guidé efficacement à travers votre maison, et qu'il porte son attention sur les pièces qui comptent pour vous.

Habituellement, le robots.txt renvoie même à la fin directement à la sitemap. Ainsi, dès sa première visite, Google trouve tout de suite les deux : l'invitation et le règlement de la maison.

Ce que vous devriez concrètement faire

Vous n'avez pas à devenir un pro de la technique, mais ces quelques points en valent la peine :

• Vérifiez si votre site possède seulement une sitemap, souvent accessible à votre adresse suivie de /sitemap.xml.
• Jetez un œil à votre /robots.txt et assurez-vous que tout n'y est pas bloqué par mégarde.
• Enregistrez une fois votre site dans la Google Search Console gratuite et soumettez-y votre sitemap. Vous verrez ainsi noir sur blanc ce que Google pense de votre site.

Si cela vous semble trop technique, c'est tout à fait normal, c'est précisément pour cela qu'il y a des gens comme moi. Sur mes sites, la sitemap et le robots.txt sont configurés proprement dès le départ, pour que Google lise correctement votre site dès la première heure. Vous aimeriez savoir où en est votre site actuel ? Regardez volontiers d'autres articles ou contactez-moi sans engagement via le formulaire de contact, je jette un œil et vous dis honnêtement si Google trouve seulement correctement votre site.