Contenidos

    alt

    Imagino que ya conocéis a Googlebot, ¿no? Os lo presenté el otro día. Si no os acordáis podéis leer mi anterior post: Sobre GoogleBot, el sabueso rastreador de Google. Resumiendo, GoogleBot visita nuestra web para saber si hay alguna novedad y, en caso de haberla, informar a Google al respecto.

    Aunque GoogleBot debería ser un aliado de cualquier web máster, sus visitas no siempre son bien recibidas; principalmente por dos motivos:

    • GoogleBot es lo que llamaríamos un visitante pesado. Cuando GoogleBot rastrea nuestra web consume recursos del servidor, así que puede que el resto de usuarios naveguen más lentamente por ese sitio o, incluso, que el ancho de banda se colapse y no se permitan nuevas visitas hasta que GoogleBot termine su trabajo.
    • GoogleBot también es algo cotilla, y cuando está en nuestra web puede ver contenidos que no queremos que vea o meterse en sitios dónde no queremos que se meta. Los motivos para no querer que GoogleBot vea algo de nuestra web pueden ser varios. Por ejemplo, puede ser que tengamos una página en construcción y no queramos que los visitantes lleguen a ella a través de los buscadores hasta que no esté lista del todo. También es posible que simplemente queramos que algunos de los contenidos de nuestra web sean solo accesibles a unos pocos privilegiados y no que la gente acceda a ellos a través de los buscadores.
    • Hay un tercer motivo, aunque este no afecta a GoogleBot (o no debería). Aparte de GoogleBot existen otros robots rastreadores (también leeréis que se habla de ellos como arañas web). Algunos son los robots de otros buscadores -cada buscador tiene su propio robot, pero yo siempre hablo de Google porque es el más usado en España, con diferencia- y otros son robots rastreadores o arañas web que solo buscan conseguir información de las páginas webs (por ejemplo, direcciones de correo) para vendérsela a otras empresas.

    Por suerte los web masters cuentan con una herramienta para decirle a GoogleBot y a las arañas web con qué frecuencia les gustaría que visitase su web y en que páginas prefiere que no meta las narices. Esa herramienta es el archivo robots.txt.

    El archivo robots.txt es un simple archivo de texto en el que se escriben sentencias interpretables por GoogleBot. Estas sentencias son instrucciones que el robot puede respetar o no. Lo normal es que GoogleBot sea un chico bueno y nos haga caso, pero para el esas instrucciones son más recomendables que obligatorias.

    En el próximo post hablaré más en profundidad sobre el archivo robots.txt.

    Os deSEO un buen día

    William Penguin

    Artículos Relacionados
    Reputación online SEO 05/02/2020 Reputación online SEO, mejorar la imagen de una empresa

    La reputación online SEO es un trabajo de posicionamiento especial. La reputación online es importante,...

    Externalizar el SEO 17/01/2020 Razones para externalizar el SEO de tu empresa

    Muchas empresas trabajan con especialistas SEO en plantilla, personas especializadas en posicionamiento capaces de optimizar la web...

    Squeeze page 15/01/2020 La utilidad de una squeeze page para lograr conversiones

    El concepto de squeeze page es relativamente nuevo en SEO, sin embargo, ya son muchas las webs...

    Optimización web SEO 13/01/2020 Optimización web SEO a largo plazo, ¿qué vas a querer ser en internet?

    La optimización web SEO no es algo que se consiga de un día para otro, de hecho,...

    Deja un comentario

    Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *