Nous utilisons des cookies de mesure d'audience (Google Analytics) pour améliorer votre expérience. Aucun cookie de mesure n'est déposé sans votre accord. En savoir plus.
Outil gratuit — sans inscription
Cochez vos options — CMS, dossiers à protéger, robots IA, sitemaps — et obtenez un fichier robots.txt propre, commenté et prêt à déposer à la racine de votre site.
Déposez ce fichier à la racine de votre site (https://votresite.fr/robots.txt), puis testez-le dans Google Search Console.
Commencez par sélectionner votre plateforme : le générateur applique automatiquement les préréglages adaptés — /wp-admin/ avec l'exception indispensable admin-ajax.php pour WordPress, les dossiers techniques et le tunnel de commande pour PrestaShop, /administrator/ pour Joomla. Cochez ensuite les règles souhaitées : blocage de la recherche interne (source classique de contenu dupliqué), du panier pour les boutiques en ligne, et éventuellement des robots d'entraînement IA. Ajoutez vos dossiers privés spécifiques, un par ligne et commençant par une barre oblique, puis l'adresse complète de vos sitemaps XML. Cliquez sur « Générer » : le fichier produit est commenté ligne par ligne, copiable en un clic ou téléchargeable directement sous le nom robots.txt, prêt à être déposé à la racine de votre hébergement.
Un bon robots.txt est court et lisible : chaque ligne doit avoir une raison d'être. Ne bloquez jamais les fichiers CSS et JavaScript — Google doit pouvoir afficher vos pages comme un visiteur pour évaluer leur compatibilité mobile. Déclarez systématiquement vos sitemaps en fin de fichier : c'est le moyen le plus fiable de faire découvrir vos nouvelles pages. Après chaque modification, validez le fichier dans Google Search Console (rapport « robots.txt ») et surveillez les statistiques d'exploration pendant deux semaines. Enfin, souvenez-vous que le robots.txt est public : n'importe qui peut le consulter, n'y révélez donc jamais l'emplacement de dossiers sensibles que vous voudriez garder secrets — protégez-les plutôt par mot de passe côté serveur.
La plus destructrice tient en une ligne : Disallow: / appliqué à tous les robots, souvent un reliquat de site en préproduction, qui interdit l'exploration de tout le site et fait fondre le trafic en quelques semaines. Deuxième erreur classique : utiliser Disallow pour « désindexer » une page déjà présente dans Google — bloquée au crawl, la page ne peut plus transmettre sa balise noindex et reste indexée indéfiniment. Troisième piège : les fautes de syntaxe, comme un chemin sans barre oblique initiale ou des règles contradictoires entre groupes User-agent, qui rendent le comportement imprévisible d'un moteur à l'autre. Après la mise en place de votre fichier, contrôlez l'ensemble de vos fondamentaux avec notre analyseur SEO on-page, et travaillez vos balises avec le générateur de meta descriptions.
Obligatoirement à la racine du domaine, accessible à l'adresse https://votresite.fr/robots.txt. Un fichier placé dans un sous-dossier est ignoré par tous les moteurs. Déposez-le par FTP ou via le gestionnaire de fichiers de votre hébergeur, puis vérifiez qu'il s'affiche bien dans votre navigateur à cette adresse exacte.
Non, c'est l'erreur la plus répandue. Disallow interdit l'exploration (le crawl), pas l'indexation : une page bloquée mais liée depuis d'autres sites peut rester dans Google avec la mention « Aucune information n'est disponible ». Pour désindexer, utilisez une balise meta robots noindex sur la page, en laissant Google la crawler pour qu'il voie l'instruction.
C'est un choix stratégique. Bloquer GPTBot, ClaudeBot ou CCBot empêche l'utilisation de vos contenus pour l'entraînement des modèles, mais peut aussi vous priver de citations dans les réponses des assistants IA, une source de visibilité croissante en 2026. Pour une PME locale qui cherche des clients, nous recommandons généralement de laisser les assistants IA accéder au site.
Indirectement, oui. Il n'apporte pas de « points SEO » en soi, mais il optimise le budget de crawl : en écartant les pages sans valeur (panier, recherche interne, administration), vous concentrez le passage de Googlebot sur vos pages stratégiques. Et la ligne Sitemap aide les moteurs à découvrir toutes vos URL importantes plus vite.