Estamos “moscas” últimamente con el comportamiento de algunos bots, en concreto con el de google. Entre las cosas que voy recopilando y que iré actualizando están estas. Otras hablan de evitar “loopings” de páginas, enlaces dentro de la misma página hacia la misma página… En fin, cosas utilizadas por SEORRRR.
http://jaypeeonline.net/web-hosting/dreamhost-blocks-googlebot/
http://www.quickonlinetips.com/archives/2008/02/slow-googleblot-crawling-stop-crashing-shared-hosting-servers/
http://www.searchenginejournal.com/mozilla-googlebot-mozilla-or-godzilla/3124/
http://www.mattcutts.com/blog/more-webmaster-console-goodness/
http://groups.google.com/group/Google_Webmaster_Help-Indexing/browse_thread/thread/82f0898fb9e2fa2a
actualizacion: finalmente la denegación de servicio vino por un proveedor "de confianza", tela. No supieron solventarlo con lo que lo tuvimos que hacer nosotros.
comentarios, ideas, cosas curiosas aportadas por David Sanchez, socio de Meytel (http://www.meytel.net)