El Pago por Click y el archivo Robots.txt

Todos los buscadores utilizan un robot que rastrea Internet en búsqueda de contenido para indexar. El archivo robots.txt es un archivo con instrucciones sobre que información puede indexar el robot y cual no.

Un archivo robots.txt mal configurado puede:

• Disminuir el Nivel de Calidad.
• Hacer que los anuncios no se aprueben.
• Empeorar el posicionamiento orgánico.
• Crear otros muchos problemas.

Google usa un robot llamado «adsbot-Google» para indexar las páginas de aterrizaje de los anuncios de Google AdWords y determinar su nivel de calidad. Si el robot no puede indexar la página, entonces su relevancia será muy baja.

• El robot de Google AdWords ignora todos los Disallow globales, ya que asume que debe tratarse de un error. Si no se excluye especificamente el robot «adsbot-Goole» ignorará estas directrices. Eso si, si se excluye especificamente seguirá estas instrucciones.
• Normalmente no lo excluiremos, pero se dan casos en los que el encargado del servidor ve que hay mucho tráfico desde ese robot y puede decidir bloquearlo. Esto hay que vigilarlo y la mejor forma es Google Webmaster Tools.

Microsoft usa el robot «adidxbot» / «MSNPTC/1.0» para indexar las páginas de aterriazaje de los anuncios de Microsoft AdCenter.

• Este robot va a seguir todas las directrices del archivo robots.txt, también las globales.
• Si se utiliza un disallow global para evitar que un buscador indexe un contenido, también se bloqueará al robot de Microsoft. Lamentablemente esto en su Webmaster Center no se pude ver.

Probando páginas de aterrizaje y contenido duplicado
Muchas veces al crear distintas versiones de páginas de aterrizaje para probar cual funciona mejor (cambiando botones, diseño, títulos, beneficios, etc), se crea contenido duplicado, porque el texto suele ser el mismo o muy parecido. Si todas estas páginas se indexan por el robot del buscador, puede hacer que el posicionamiento de la página empeore. Por esta razón hay que bloquear estos contenidos para los robots de la búsqueda orgánica.

Esto es mucho más sencillo con AdWords que con AdCenter. En AdWords podemos poner todas las páginas de aterrizaje en una misma carpeta y con un disallow global no permitir su indexación. Dado que el robot de AdWords ignora los disallows globales, indexará los contenidos, pero los robots orgánicos no.
Con AdCenter hay que crear una carpeta y bloquear todos los robots estándar excepto «adidxbot».

Si tenéis campañas de pago por click activas en Google AdWords o Microsoft AdCenter, echarle un vistazo a vuestro archivo robots.txt, ya que os puede hacer ahorrar mucho dinero y evitar contenido duplicado.