Google teste Noindex: comme directive de robots.txt
Un bloggueur anglophone qui avait semble t-il du temps à perdre vient en effet de découvrir que Google interprèterait la mention Noindex: / si elle est indiquée dans le fichier robots.txt comme une indication valable pour la non indexation de tout ou partie d'un site.
Cette nouvelle directive si elle était officiellement adoptée par Google conduirait à ce qu'il soit possible d'indiquer à Googlebot via robots.txt que la page, le dossier ou le site dans son intégralité doivent être crawlé et les liens suivis mais sans indexation des pages dans les SERP.
Elle viendrait donc compléter utilement la directive Disallow: qui interdit aux moteurs visés de crawler la page.
La découverte de cette nouveauté lors d'un test par ledit bloggueur a d'ailleurs été confirmée par un employé de Google dans un commentaire ajouté à la suite du billet.
"Good catch, Sebastian. How is your experiment going? At the moment we will usually accept the “noindex” directive in the robots.txt, but we are not yet at a point where we are willing to set it into stone and announce full support."
Toutefois, ce même John Müller avertit les utilisateurs :
"I just want to remind everyone again that this is something that may still change over time. Be careful when playing with things like this."
que la directive Noindex: n'est pas officiellement supportée et qu'il ne faut donc pas s'appuyer sur elle, pour l'instant, pour déterminer le régime d'indexation des pages d'un site.
A noter avant de conclure, que cette nouvelle directive ne fait absolument pas partie des directives officielles d'usage des fichiers robots.txt et qu'elle ne sera donc pour un temps au moins que spécifique à Google.
Toujours est-il que Google ouvre la une porte pour permettre aux webmasters sentant le vent du boulet suite aux dernières sanctions appliquées par le moteur de ne plus enfreindre le règlement de google tout en continuant à spammer les autres moteurs.
Bien entendu, s'il advenait que cette directive soit officiellement supportée, nous modifierons en ce sens notre générateur de fichier robots.txt [fr].
Source :
Validate your robots.txt - Googlebot becomes smarter [en]
Via unofficialseoblog.com [en]
Derniers articles de cette rubrique:
- 03-02-2010 : Google célèbre Norman Rockwell
- 20-01-2010 : Bing améliore la pertinence d'Autosuggest
- 20-01-2010 : Google comprend la similarité d'expressions
- 15-01-2010 : Mobiles : Google adapte ses suggestions à votre localisation
- 13-01-2010 : R-U : une loi pour protéger Google
