Sitemap et robots.txt : deux fichiers pour guider Google sur votre site

À quoi servent le sitemap XML et le fichier robots.txt, ce qu’ils doivent contenir, les erreurs qui empêchent l’indexation et comment les déclarer dans Google Search Console.

Pour qu’une page apparaisse sur Google, il faut d’abord que Google la trouve, puis qu’il l’indexe. Deux petits fichiers techniques jouent un rôle important dans ce travail : le sitemap et le robots.txt. Ils ne font pas tout, mais une erreur dans l’un d’eux peut bloquer tout un site.

Le sitemap XML : la liste de vos pages

Le sitemap est un fichier qui liste les pages importantes de votre site, avec parfois leur date de mise à jour. Il aide Google à découvrir les nouvelles pages, surtout sur un site récent ou qui a peu de liens.

• Il doit contenir uniquement les pages que vous voulez voir dans Google.
• Il se met à jour automatiquement quand vous ajoutez une page ou un article.
• Il ne doit pas lister de pages en erreur, redirigées ou bloquées.

Le robots.txt : les règles d’accès

Le fichier robots.txt, placé à la racine du site, indique aux robots les zones qu’ils ne doivent pas explorer : espace d’administration, pages de recherche interne, environnements de test. Il peut aussi indiquer l’adresse du sitemap.

• Ne bloquez jamais par erreur tout le site : une seule ligne mal écrite peut suffire.
• Ne comptez pas sur le robots.txt pour cacher une page sensible : il est public et ne protège rien.
• Pour empêcher l’indexation d’une page, utilisez plutôt une balise dédiée sur la page elle-même.

Les déclarer et vérifier

• Ajoutez le sitemap dans Google Search Console, rubrique Sitemaps.
• Surveillez le rapport sur l’indexation des pages pour repérer les pages exclues.
• Vérifiez le robots.txt après chaque mise en ligne importante, en particulier après une refonte.

Un sitemap à jour et un robots.txt propre ne garantissent pas le classement, mais ils évitent de se rendre invisible.

Vous voulez vérifier que Google voit bien votre site ? Décrivez votre projet dans notre formulaire d’estimation : nous vous répondons avec une estimation adaptée et les prochaines étapes.