Marketing en Internet, Posicionamiento web y mucho más Un blog de APASIONADOS sobre la parte técnica y curiosidades del Marketing en Internet…
Investigando la optimización SEO en páginas web realizadas con DRUPAL he vuelto a encontrar la siguiente afirmación de John Mueller (analista de Google) del 1 de diciembre de 2008:
Si Googlebot no puede acceder al archivo robots.txt (porque por ejemplo el servidor devuelva un código de error 5xx) entonces no va a indexar la página web.
Lo cual significa que si no hay archivo robots.txt, Google no va a indexar la página web.
El comentario está en Google Webmaster Help: «When does link exchange between sites owned by the same company cause a google penalty«. El usuario es JohnMu y la entrada es de 1 dic 2008, 13:21. La entrada está bajando bastante hacia abajo en la conversación.
Se me ha olvidado añadir lo siguiente al final del post:
Yo tengo mis dudas que esto sea cierto, ya que habitualmente me encuentro con páginas realizadas por otras empresas / personas y muchas de ellas están indexadas en Google, sin tener robots.txt.
Voy a hacer unos cuantos experimentos con este tema. Os mantengo informados.