Cómo impedir a los bots acceder a tu sitio WordPress

Últimamente me han preguntado varias personas como puede ser que haya determinadas páginas web bien posicionadas en términos muy competidos, pero que en herramientas como AHREFS, MajesticSEO o MOZ no tienen casi enlaces entrantes. Una de las formas de conseguirlo es bloqueando el acceso a los bots de estos servicios a las páginas que enlazan al «money-site».

Hace un año ya escribí algo respecto al tema de los bots o arañas web y como impedir que puedan acceder a nuestro WordPress. Os recomiendo echarle un vistazo ya que tiene mucho contenido que aquí no se va a repetir: Controla el acceso de los bots o arañas web a tu WordPress.

Lo que pasa que ese post era un post más genérico dirigido a todos los bots. Esta vez nos vamos a centrar en los bots de servicios online que permiten obtener el perfil de enlaces de una web.

Bloquear bots que quieran saber a quien enlazas

Básicamente este es el resumen de lo que hoy os vamos a explicar como hacer:

• Bloquear los bots que analizan páginas web para encontrar enlaces hacia otras webs y que después realizan informes de enlaces para que podamos hacernos una idea de los enlaces que tiene una web y podamos inferir qué esfuerzo de linkbuilding están realizando y cual es su estrategia. O sea, bloquear las herramientas de monitorización de enlaces (backlinks).

Si instalamos unos de estos plugins que hoy os vamos a presentar, el bot no puede acceder para leer la web y analizar los enlaces salientes. Por tanto todos esos enlaces no van a aparecer en los resúmenes que hagan de dominios que estén enlazados en las webs que tengan bloqueado su acceso.

Esto hace que haya dominios posicionados en términos competidos donde sea imposible determinar porqué están posicionados realizando un análisis de su perfil de enlaces obtenido de un servicio online.

Bloquea los bots con Spyder Spanker

Ahí os presentaba el plugin Spyder Spanker Pro para evitar el acceso a WordPress de bots «malignos». Este plugin sigue siendo igual de válido, aunque su sistema de actualizaciones no nos acaba de convencer. De Spyder Spanker existen tres versiones:

• Spyder Spanker Classsic: No permite detener ataques en tiempo real. Es necesario actualizar las IPs a bloquear manualmente y no se tiene acceso a las actualizaciones de otros usuarios (ellos lo llaman: «community updates».
• Spyder Spanker Pro: Es la versión profesional de pago que incluye todo lo que acabamos de detallar que la versión Classic no permite (precios: Pro para dominios propios: 50,46 USD; Developer para dominios ilimitados propios y de terceros: 71,78 USD).
• Spyder Spanker ssNuke (lanzado en septiembre de 2014 después de la publicación del post anterior): Además de las características de la versión Pro permite bloqueos por país, solo permitir el tráfico que decidamos, además de permitir bloquear a Moz y Semalt (necesita tener la versión Pro Developer y obtener una suscripción: 19,00 USD/mes, 89,00 USD/año, 159,00 USD/bianual).

Muy importante a la hora de usar Spyder Spanker: Necesita tener una versión de PHP 5.2 o superior, CURL, una versión de MySQL 4 o superior y el ionCube Loader (esto puede no estar disponible en todos los alojamientos web, por lo que es importante comprobar que se cumplen todos los requisitos -> Para eso recomendamos instalar primero la versión Classic gratuita y ver si funciona).

El tema de la suscripción no nos hace mucha gracia, por lo que empezamos a buscar alternativas para poder bloquear los bots que nos interesen de una forma sencilla y sin dejar un rastro en la web.

Bloquea bots con: Link Privacy

Uno de los plugins gratuitos que llevamos utilizando unos meses y que permite una funcionalidad parecida a Spyder Spanker es «Link Privacy«.

Link Privacy permite proteger páginas de WordPress de bots y nada más activarlo y con los ajustes por defecto empieza a funcionar. Su pantalla de configuración contiene una serie de bots por defecto para los cuales nos permite ajustar si permitimos que accedan (Action está vacío) o si bloqueamos su acceso (Action es Deny o alguna de las otras dos opciones).

Este es un ejemplo de la configuración de Link Privacy:

Además de los bots que conoce, al final se pueden añadir bots propios: Solo hay que ponerle un nombre y la URL del mismo:

Por tanto no hay que editar nada y rápidamente lo podemos tener funcionando.

Una de las ventajas de Link Privacy es que intenta no dejar ninguna huella («footprint») en las instalaciones de WordPress, dificultando así su detección por parte de Google y de competidores. Al intentar acceder a la carpeta dentro de plugins muestra un mensaje de error 404.

Para los bots se pueden establecer tres formas distintas de bloqueo:

• Impedir el acceso («Deny»).
• Mostrar una página vacía («Cloak Empty Page»).
• Añadir el bot a robots.txt y bloquearlo desde ahí («Add to Robots.txt»).

Lo que mejor funciona (y lo que usamos nosotros) es el primero: DENY.

CUIDADO con bloquear el GOOGLEBOT, porque entonces Google no podrá acceder a la web y no la podrá indexar.

Para obtener automáticamente las actualizaciones de «Link Privacy»:

• Para actualizar el plugin y que haya menos posibilidades de detectar que está instalado, no usa una función propia de actualización, sino que usa «GitHub Updater« que comprueba si existe una versión actualizada del plugin en el repositorio de Link Privacy en Github.
• Hay que instalar ese plugin para que vaya comprobando periódicamente si hay actualizaciones disponibles. Link Privacy nos avisará con un mensaje que no se puede quitar por si no está instalado. OJO: Por defecto Github Updater se instala en la carpeta github-updater-master cuando debería de ser: github-updater. Lo más sencillo es entrar por FTP y modificarlo. Si no se modifica y se deja con la carpeta original, no se va el mensaje de Link Privacy diciendo que es imprescindible instalar ese plugin para las actualizaciones (Link Privacy comprueba que el archivo github-updater/github-updater.php está instalado y activo).

Además de la web para obtener el plugin (web Link Privacy) también hay un grupo de Facebook para solucionar dudas.

Por cierto: Si entráis a su web hay un botón en el que pone «Get The Free Plugin now!», que si pincháis os lleva a un carrito de compra, pero donde el precio del plugin es 0 USD:

Le dais a «Check Out», rellenáis vuestros datos y le dais a «Place Order». En unos minutos os llega un email con el enlace para la descarga. No hay que poner tarjeta de crédito ni nada, lo único que necesitáis es un email al que tengáis acceso.

Por cierto, la versión actual en el momento de la publicación de este post es la: 1.2.5.3.

 

Esperamos que os haya parecido interesante y os sirva. Para cualquier duda o pregunta, dejarnos un comentario.

Imágenes: Shutterstock: Ociacia