Le robots.txt est le moyen le plus simple à mettre en place afin d'indiquer aux différents moteurs de recherche respectueux d'indexer ou pas tout ou partie de votre site. Si la syntaxe est bien connue, Google s'y réfère et obtempère, on pouvait s'interroger sur l'attitude de ce même Google face à une erreur serveur lors d'une visite de ce minuscule fichier, mais au final très important.

Selon le site Search Engine Roundtable qui fait état d'un fil ouvert sur Google groups le Googlebot n'indexerait pas les sites dont il ne peut vérifier l'existence ou l'absence de directives d'indexation, ce qui ne concerne donc pas le cas où le serveur renvoie une erreur 404 (communément transcrite en langage de spider d'indexation : "qui ne dit mot consent") mais toute autre forme d'erreur telle par exemple une erreur 500 ou encore lorsque le serveur fait un time out sur la requête du moteur sur ce fichier.

C'est donc là que cela peut devenir vicieux en terme SEO puisque si il est bien un fichier qu'un webmaster ne vérifie quasiment jamais après sa création c'est bien ce simple robots.txt.

Certes toutefois il y a peu de chance qu'une telle erreur puisse se produire lorsque le fichier est un banal fichier sous format texte mais si l'on utilise un langage destiné à le créer à la volée il ne peut plus être négligeable, même si un tempérament doit être apporté on ne sait en effet pas comment Google réagit si le site était déjà indexé, désindexation complète des pages ou bien arrêt de l'indexation de nouvelles pages dans l'intervalle de la réparation de ce fichier.

Pour Google l'enjeu est de taille, il ne faudrait pas en effet qu'il indexe des fichiers interdits, cela pourrait lui coûter cher, très cher.

Source : Will Google Crawl Your Site Without a Robots.txt File? It Depends. [en]

Derniers articles de cette rubrique:

• 30-10-2009 : Réussir son référencement ? Les secrets chez votre libraire
• 23-09-2009 : Trikapalanet, le concours SEO rémunérateur
• 23-09-2009 : Google : le lien, l'ancre et les sitelinks
• 03-09-2009 : Black Hattitude, le classement officiel
• 01-09-2009 : Black Hattitude, le concours SEO de la rentrée

Lectures (756) - Commentaires (5)

eddy a écrit le 30-06-2011 à 03-59 :
and headquartered in Los Angeles California Sheets http://www.beddingon.com/ watches but they may not face up to the test of bedding.

blanche a écrit le 30-06-2011 à 11-27 :
tluminor gmt watches http://www.ivywatches.net/ replica watches ladies complicated watches.

lanier a écrit le 30-06-2011 à 11-29 :
that you never wore before Even Bed Linens http://www.bedding-sale.org/ still retains autonomy when it camouflage bedding.

cindy a écrit le 04-07-2011 à 02-32 :
and 9:00 with gunmetal markers at the other hour king bedding http://www.exportbedding.com/ most today Those who love cosplay bedding.

janice a écrit le 05-09-2011 à 09-07 :
wow wikia http://www.sopgame.com/ wow gold online wow gold ore http://www.sopgame.com/power-leveling/ cheap power leveling wow comics.

Votre nom/pseudo (obligatoire, publié) :

Votre email (obligatoire, non publié) :

Votre site/blog (facultatif, publié) :

Nom du site/blog (facultatif, publié) :

Votre message (obligatoire, publié) :

Veuillez recopier le code de vérification ci-contre :