Accueil => Outils webmaster

Aide sur la conception de fichiers robots.txt

Publié le 06-11-2005 à 14-42 par Dr iniseO - Art. Similaires

Les moteurs de recherches indexent à priori et sans vous demander votre avis toutes les pages de votre site web, pour autant il se peut que vous ne désiriez pas que ces robots puissent indexer certaines parties de votre site (images, données personnelles

Il est prévu pour les outils de recherche majeurs (Google, Yahoo, Altavista, Voila...) un standard d'exclusion que l'on nomme robots.txt, il s'agit d'un petit fichier texte qui placé à la racine de votre site web (au niveau de la page d'index) donnera pour instruction aux robots (web spider) d'interdire l'indexation d'un fichier (ou d'une page) ou d'un répertoire tout entier.

Utiliser l'outil de génération de fichiers robots.txt.

Indiquez ci-dessous le chemin du répertoire ou de la page à exclure sans mettre votre nom de domaine (comme sur cet exemple) puis lancer la génération du résultat.

Image attention

Rappel sur la méthodologie :
/ = interdiction de visiter et d'indexer tout le site
/img/ = interdiction de visiter et d'indexer le répertoire "img"
/img = idem et interdiction de visiter et d'indexer un éventuel fichier "img.jpg" ou "img.php"...
/img/index.html = interdiction de visiter ou d'indexer la page "index.html" du répertoire "img".
/img/*.zip = interdiction de visiter ou d'indexer les fichiers à extension ".zip" du répertoire "img".



Ajouter un champ d'interdiction

(Facultatif) délai minimum de revisite à respecter par le (ou les) robot(s).
(Facultatif) adresse "http://..." de votre fichier sitemap.xml.

Copiez le résultat dans le Bloc Notes, enregistrez ce fichier texte sous le nom robots.txt (et uniquement sous ce nom) puis éléchargez le fichier à la racine de votre site.

Modifications possibles et extensions.

Il vous est possible d'interdire à un robot particulier de venir indexer tout ou partie de votre site web, s'il n'est pas dans notre outil générez un fichier générique (contenant *) puis remplacer (*) par le nom du robots à exclure.

Derniers articles de cette rubrique:

Lectures (85111) - Commentaires (5)

Journel Grégoire a écrit le 07-07-2009 à 08-52 :
Bonjour. J'aimerais savoir si, en excluant les répertoires où il y a des photos, on empêche les moteurs de recherche d'indexer ces photos pour leurs rubriques "recherche d'images". Autre question plus générale, peut-on économiser de la bande passante en bloquant le téléchargement des images par les moteurs de recherche? Merci de vos réponses.

L\'autoédition au se Talents a écrit le 16-08-2009 à 11-24 :
Bonjour.
Google ou autre devrait améliorer ce type de service. Le principe est génial. Mais dans les faits, la mise en place est rude.
Une simplification du processus est le bienvenue.

Frédéric

Votre nom/pseudo (obligatoire, publié) :

Votre email (obligatoire, non publié) :

Votre site/blog (facultatif, publié) :

Nom du site/blog (facultatif, publié) :

Votre message (obligatoire, publié) :
Veuillez recopier le code de vérification ci-contre :