robots.txt
robots.txt est un fichier texte à la racine d’un site qui indique aux robots quelles pages ou sections ils peuvent ou non explorer.
robots.txt en bref
robots.txt est un fichier simple placé à votresite.com/robots.txt. Il donne aux robots des instructions sur les parties du site qu’ils peuvent visiter, et pointe en général vers le sitemap. C’est l’une des premières choses que lisent de nombreux bots : il façonne la manière dont les moteurs et les robots IA explorent votre site.
Pourquoi robots.txt compte pour votre site
Bien utilisé, robots.txt éloigne les robots des pages qui n’ont rien à faire dans la recherche, comme les pages de remerciement ou d’admin, et les aide à se concentrer sur l’essentiel. Mal utilisé, il peut bloquer par erreur des pages ou sections importantes. Il contrôle l’exploration, pas l’indexation : les pages sensibles ont besoin d’une autre protection.
Questions fréquentes
robots.txt empêche-t-il l’indexation d’une page ?
Pas de façon fiable. Il bloque l’exploration, mais une URL bloquée peut être indexée si elle est liée ailleurs. Pour la garder hors des résultats, utilisez plutôt une balise noindex.
Faut-il bloquer les robots IA dans robots.txt ?
C’est un choix stratégique. Pour apparaître dans les réponses IA, autorisez des robots comme GPTBot et ClaudeBot ; ne les bloquez que si vous voulez délibérément vous en retirer.
Envie d’un site qui applique tout ça ?
- ✓Design sur mesure, jamais un template
- ✓En ligne en environ 10 jours
- ✓Hébergement et support inclus