Le 06-11-2005 à 14:42 était publié sur notre site un très bon article dénommé Aide sur la conception de fichiers robots.txt, cet excellent article a déjà été consulté à 89050 reprises, il commençait ainsi que suit:

"Les moteurs de recherches indexent à priori et sans vous demander votre avis toutes les pages de votre site web, pour autant il se peut que vous ne désiriez pas que ces robots puissent indexer certaines parties de votre site (images, données [...]"

Bien entendu vous pouvez, si ce n'est pas déjà fait lire l'article Aide sur la conception de fichiers robots.txt ou bien lire des articles sur un sujet connexe.

07-12-2007 : Yahoo! rénove son algorithme
[News moteurs] Des mises à jour quasiment mensuelles désormais pour le principal concurrent de Google, Yahoo! adopte également l'interprétation des balises destinées à gérer l'indexation de fichiers écrits dans un autre langages que le HTML savoir les mentions ... Art. Similaires

31-03-2008 : Générer un robots.txt avec Google
[Outils webmaster] Depuis quelques jours le moteur de recherche favori des internautes offre la possibilité, via ses outils pour webmasters, de générer en ligne un fichier robots.txt valide (selon Google, et donc pas pour tous les moteurs).... Art. Similaires

15-04-2006 : Modification de l'outil de génération robots.txt
[Outils webmaster] Nous avons amélioré l'outil, qui passe en conséquence en version 1.1.1, en modifiant la saisie du nom des spiders à exclure ainsi que le nombre de champs de saisie qui s'incrémente automatiquement.... Art. Similaires

23-11-2007 : Google teste Noindex: comme directive de robots.txt
[News moteurs] Un bloggueur anglophone qui avait semble t-il du temps à perdre vient en effet de découvrir que Google interprèterait la mention Noindex: / si elle est indiquée dans le fichier robots.txt comme une indication valable pour la non indexation de tout ou ... Art. Similaires

19-06-2008 : L'importance du fichier robots.txt pour Google
[Référencement] Le robots.txt est le moyen le plus simple à mettre en place afin d'indiquer aux différents moteurs de recherche respectueux d'indexer ou pas tout ou partie de votre site. Si la syntaxe est bien connue, Google s'y réfère et obtempère, on pouvait ... Art. Similaires

18-12-2007 : Google accepte les sitemaps de vos videos

18-02-2006 : Mise à jour de l'annuaire

18-06-2007 : Exalead passe au sitemap

12-04-2007 : M.A.J du générateur de fichiers robots.txt

25-03-2006 : Mise à jour de l'annuaire du webmaster

19-06-2009 : Google ingère de mieux en mieux le Flash

11-06-2009 : Fichiers Sitemap : de légères améliorations

15-10-2008 : Google vous retrouve du Link juice perdu

09-11-2005 : Générateur de balises meta tag

12-04-2008 : Google va-t-il aussi s'inscrire dans les annuaires ?