Le vrai visage de Googlebot
Le blog officiel Webmaster Central se fend d'une interview imaginaire pour mieux expliquer aux webmasters le mode de fonctionnement du désormais célèbre Googlebot.

Cet entretien qui consiste en une série de question réponse entre Googlebot et un site web se déroulant exclusivement en anglais nous vous livrons ci-dessous les grandes lignes :
* les infomations de Googlbot sont : User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; + http://www.google.com/bot.html) ;
* parfois il utilise le nom de User-Agent: Mediapartners-Google (AdSEnse) ou encore de User-Agent: Googlebot-Image/1.0 (images), Google Reader RSS récupère, lui, les informations supplémentaires telles que le nombre d'abonnés ;
* il a pour habitude d'éviter les cookies car il ne veut pas que le contenu soit modifié suivant les sessions. Et, si un serveur utilise un identifiant de session dans une URL dynamique plutôt qu'un cookie, il peut généralement évacuer le chiffre pour éviter d'explorer une page des millions de fois avec un million de différents sessions ;
* il lit tous les types de fichiers et lorsqu'il travaille pour Google news est très friand d'illustrations, pour ce type d'indexation il se sert de l'instruction Content-Type mais vérifie également la conformité du fichier et dans la mesure du possible l'absence de risque pour les utilisateurs finaux ;
* il aime bien la compression gzip par serveur ;
* si on aime le risque on peut lui indiquer via re-direction 503 de ne pas visiter le site pendant les heures de forte affluence.
Si le site internet et Googlebot se rencontrent une nouvelle fois nous ne manquerons pas de vous relater leurs échanges.
Source : First date with the Googlebot: Headers and compression [en]
Derniers articles de cette rubrique:
- 30-10-2009 : Réussir son référencement ? Les secrets chez votre libraire
- 23-09-2009 : Trikapalanet, le concours SEO rémunérateur
- 23-09-2009 : Google : le lien, l'ancre et les sitelinks
- 03-09-2009 : Black Hattitude, le classement officiel
- 01-09-2009 : Black Hattitude, le concours SEO de la rentrée
