Le 31-03-2008 à 16:18 était publié sur notre site un très bon article dénommé Générer un robots.txt avec Google, cet excellent article a déjà été consulté à 1320 reprises, il commençait ainsi que suit:

"Depuis quelques jours le moteur de recherche favori des internautes offre la possibilité, via ses outils pour webmasters, de générer en ligne un fichier robots.txt valide (selon Google, et donc pas pour tous les moteurs). [...]"

Bien entendu vous pouvez, si ce n'est pas déjà fait lire l'article Générer un robots.txt avec Google ou bien lire des articles sur un sujet connexe.

15-04-2006 : Modification de l'outil de génération robots.txt
[Outils webmaster] Nous avons amélioré l'outil, qui passe en conséquence en version 1.1.1, en modifiant la saisie du nom des spiders à exclure ainsi que le nombre de champs de saisie qui s'incrémente automatiquement.... Art. Similaires

06-11-2005 : Aide sur la conception de fichiers robots.txt
[Outils webmaster] Les moteurs de recherches indexent à priori et sans vous demander votre avis toutes les pages de votre site web, pour autant il se peut que vous ne désiriez pas que ces robots puissent indexer certaines parties de votre site (images, données... Art. Similaires

07-12-2007 : Yahoo! rénove son algorithme
[News moteurs] Des mises à jour quasiment mensuelles désormais pour le principal concurrent de Google, Yahoo! adopte également l'interprétation des balises destinées à gérer l'indexation de fichiers écrits dans un autre langages que le HTML savoir les mentions ... Art. Similaires

12-04-2008 : Google va-t-il aussi s'inscrire dans les annuaires ?
[Référencement] C'est la question que l'on est en effet tenté de se poser suite à l'annonce faite officiellement par le moteur de recherche communiquant que soucieux d'étendre sa base de données il allait remplir les formulaires pour voir ce qui se cache derrière... Art. Similaires

18-06-2007 : Exalead passe au sitemap
[News moteurs] Cette information si elle est d'une importance toute relative compte tenu du faible poids de ce moteur alternatif dans le volume dit du "search" francophone (plus ou moins 0.1%) l'est en tout cas au regard de la politique actuelle du moteur qui pourrait à l'avenir devenir un acteur de plus en plus important du secteur, et pourtant elle a été annoncée au détour d'un forum.... Art. Similaires

23-11-2007 : Google teste Noindex: comme directive de robots.txt

06-11-2005 : Générateur de liens en dur pour page html

18-12-2006 : Générateur de .htaccess pour pages d'erreur

09-11-2005 : Générateur de balises meta tag

19-06-2008 : L'importance du fichier robots.txt pour Google

12-04-2007 : M.A.J du générateur de fichiers robots.txt

17-07-2009 : Google rappelle les bases du web aux éditeurs

17-04-2009 : CrawlTrack 3, le tableau de bord du webmaster

03-12-2007 : Yahoo! publie son Top Trends

06-11-2005 : Aide sur la création de balises meta tag