El crawling es un concepto fundamental en SEO. El concepto de rastreo asociado a Google es, en base, la explicación del funcionamiento completo del buscador.

Comprender el crawling es importante para comprender cómo lee Google nuestra web y la evalúa, en el siguiente post analizamos qué es el crawling y qué influencia tiene en nuestra estrategia SEO.

Qué es el crawling

El crawling o rastreo, es el proceso que desarrolla Google para visitar todas las páginas de una web, siguiendo además todos los enlaces con los que se encuentra durante el recorrido. Una vez haya finalizado el proceso de crawling, se muestran los resultados de las búsquedas, ordenadas en base a los criterios SEO que utiliza el buscador. 

¿Cómo utiliza Google el proceso de crawling?

Google utiliza el proceso de crawling para analizar millones de webs y mostrar la información al usuario. El proceso de crawling no solo es útil para Google, también beneficia al usuario y al webmaster. 

De cara al usuario, el crawl asegura que la información que va a ver en pantalla va a ser la más apropiada en relación a su búsqueda, respecto al webmaster, los robots crawl aseguran que un trabajo SEO bien hecho va a mejorar el posicionamiento de la web.

Los bots o arañas y el proceso de crawling

Las herramientas que Google utiliza para evaluar webs se conocen como arañas, bots o rastreadores. Las arañas son, básicamente, gigantescos servidores que, en base a programas que aplican los algoritmos de Google, evalúan millones de páginas web en cuestión de unas décimas. 

Las arañas son las que, en realidad, rastrean webs relacionadas con la búsqueda, una vez detectadas, se ubican en las SERPs en base a los criterios del algoritmo. 

Qué bots utiliza Google

Google utiliza cerca de una veintena de bots para rastrear todos los contenidos de internet. Algunos de los más específicos evalúan los anuncios, imágenes, vídeos, aplicaciones, etc., sin embargo, los dos bots más conocidos, y los más útiles para web son los siguientes: 

  • Googlebot: Es el robot tradicional de Google, aquel que utiliza para evaluar webs que se muestran en un ordenador de escritorio.
  • Smartphone Googlebot: Es el robot específico con el que ordenamos búsquedas móviles. 

Google Search Console para comprobar el trabajo del bot

Como usuarios, también podemos controlar el recorrido del bot en nuestra web. Google Search Console nos muestra todas las páginas de nuestra web que son rastreadas por el robot de Google, y aquellas que no lo han sido. Si alguna de tus páginas no ha sido rastreada, Google Search Console permite avisar al buscador de que, en próximas búsquedas, esa página sea tenida en cuenta.