Rastreo inmediato en Google con su «Indexing API»

¿A quién no le encantaría que se rastrearan de forma inmediata sus páginas en Google? Pues ahora mismo ya lo podemos conseguir con la «API de Indexación» de Google.

La página de soporte de la API de indexación de Google dice que «sólo se puede utilizar para rastrear páginas con datos estructurados de ofertas de empleo o de streaming en directo» pero había que probar si permitían rastrear páginas normales también. Y si. Las indexa. Al menos de momento.

La API de indexación permite a los propietarios del sitio notificar directamente a Google cuando se agregan o quitan páginas de publicación de empleos. Esto le permite a Google programar las publicaciones de empleos para un nuevo rastreo, lo que puede generar una mejor calidad de tráfico de usuarios. Por el momento, solo se puede usar esta API a fin de rastrear páginas de publicación de empleos con datos estructurados para ese fin. Para sitios web con muchas páginas de poca duración, como las publicaciones de empleos, la API de indexación mantiene las publicaciones actualizadas en los resultados de la búsqueda, ya que permite que estas se publiquen de manera individual.

¿Con qué velocidad rastrea Google las páginas?

De forma casi instantánea. Después de llamar a la API, Google visita la página con dos agentes de usuario diferentes en menos de 2 minutos:

1. Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, como Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
2. Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

¿Cómo usar la API de indexación de Google con NodeJS?

En la página «Requisitos previos para la API de Indexación» están los rquisitos previos antes de poder comenzar a usar la API de indexación:

• Crea un proyecto: Para poder enviar solicitudes a la API de indexación, primero debes notificarle a Google acerca de tu cliente y activar el acceso a la API. Puedes hacerlo con Google API Console para crear un proyecto (una colección determinada de configuraciones y datos de acceso a la API) y registrar la aplicación.
• Crea una cuenta de servicio (OJO: El rol que hay que asignarle es «OWNER» y la dirección de email que nos proporciona es la que se debe dar de alta en Google Search Console).
• Verifica la propiedad del sitio en Search Console (OJO: Este paso debe realizarse en Search Console, no en Developers Console. La verificación de dominio de Developers Console es un proceso diferente que te permite filtrar qué sitios pueden hacer llamadas a la API en tu nombre).

Por lo que hemos podido comprobar es que el acceso a la API solo parece estar abierto a usuarios de pago de GSUITE. Esto lo estamos investigando. También parece que no se pueden crear proyectos en España ahora mismo. También lo estamos investigando.

OJO: Cuando añada este correo electrónico de «miembro» a Google Search Console hay que añadirlo siempre como PROPIETARIO verificado y no como usuario.

El siguiente código de Node JS funciona mientras que el código de ejemplo de Google no lo hace porque falta la importación del módulo Googleapis (línea 2 de este código). Además hay que cambiar la línea 30 que es la que contiene la URL a indexar.

let request = require("request");
let {google} = require("googleapis");
let key = require("./service_account.json");

const jwtClient = new google.auth.JWT(
key.client_email,
null,
key.private_key,
["https://www.googleapis.com/auth/indexing"],
null
);

jwtClient.authorize(function (err, tokens) {
if (err) {
console.log(err);
return;
}
let options = {
url: "https://indexing.googleapis.com/v3/urlNotifications:publish",
method: "POST",
// Your options, which must include the Content-Type and auth headers
headers: {
"Content-Type": "application/json"
},
auth: {
"bearer": tokens.access_token
},
// Define contents here. The structure of the content is described in the next step.
json: {
"url": "https://www.apasionadosdelmarketing.es/prueba/",
"type": "URL_UPDATED"
},

}

request(options, function (error, response, body) {
// Handle the response
console.log(body);
});
});

Y la respuesta que obtenemos de la API es algo similar a esta:

{ uriNotificationMetadata:
  { url: 'https://www.apasionadosdelmarketing.es/prueba/',
    latestUpdate:
     { url: 'https://www.apasionadosdelmarketing.es/prueba/',
       type: 'URL_UPDATED',
       notifyTime: '2019-01-28T08:32:42.2611361582' } }

¿Qué se puede hacer ahora mismo con la API de indexación?

Puedes hacer algunas cosas con la API de indexación ahora mismo (más info: Cómo usar la API de Indexación):

• Actualizar una URL: A fin de notificar a Google sobre una nueva URL para rastrear o comunicarle que se actualizó el contenido de una URL que se había enviado anteriormente
• Quitar una URL: Después de borrar una página de los servidores, notifica a Google para que podamos quitarla de nuestro índice y no intentemos rastrear la URL nuevamente. Antes de la eliminación de la solicitud, debes quitar la página del servidor y la URL debe mostrar un código de estado 404 o 410.
• Obtener el estado de la notificación: Puedes usar la API de indexación para comprobar la última vez que Google recibió cada tipo de notificación para una URL determinada. La solicitud GET no te indica cuándo Google indexa o quita una URL; solo muestra si enviaste correctamente una solicitud.
• Enviar solicitudes de indexación en lotes: Para reducir la cantidad de conexiones HTTP que tiene que hacer tu cliente, puedes combinar hasta 100 llamadas a la API de indexación en una sola solicitud HTTP. Se hace en una solicitud de varias partes llamada lote.

¿Cuáles son los límites?

El límite es de 600 solicitudes por minuto y 200 solicitudes de publicación por día.

¿Cerrará Google esta API?

Nosotros esperamos que esto sea el futuro para el rastreo y la indexación de páginas en Google y deseamos que no se cierre esta API sino que se abra más.

Recordar esto que mencionábamos a mitad del post: Por lo que hemos podido comprobar es que el acceso a la API solo parece estar abierto a usuarios de pago de GSUITE. Esto lo estamos investigando. También parece que no se pueden crear proyectos en España ahora mismo. También lo estamos investigando.