Cuando oímos hablar de SEO, lo primero en lo que pensamos es en las palabras clave que hay que trabajar, el contenido de la web, todas las metas, headings e imágenes y la construcción de enlaces entre otros factores. Esto quiere decir que lo primero que pensamos es en trabajar los elementos orientados a la optimización. Pero se nos olvida optimizar lo que se llama el Crawl Budget, el tiempo que el robot de Google dedica a una web.
Hoy en este posts os contamos detalladamente todo lo relacionado con el Crawl Budget, y en próximos os explicaremos cómo se puede optimizar.
¿Qué es un Crawler?
Estoy convencido de que muchos sabéis cómo funciona Google, pero vamos hacer un breve repaso antes de ponernos manos a la obra.
Todo buscador cuenta con un sistema que se dedica a explorar webs de forma automatizada, a partir de ahora a estas arañas o robots rastreadores les llamaremos “Crawlers”. Los Crawlers, navegan por internet recopilando información de páginas web y guardando toda ella en sus servidores. Después del almacenamiento de información, se encargan de ordenarla según unos parámetros y las guardan en un índice el cual se muestra a los usuarios de su navegador.
Para que entendáis mejor este complejo proceso, os dejamos este vídeo explicativo de Matt Cutts de Google.
Todos los buscadores cuentan con sus propios Crawlers, pero nosotros siempre nos centramos en Google ya que es el buscador principal en casi todo el mundo y en el cual se fijan todos sus competidores. Por ello os vamos a explicar algo más del crawler de Google o también llamado GoogleBot.
Googlebot no solo cuenta con un rastreador, este sistema esta formado por varias arañas que recopilan información de forma habitual. Cada crawler se dedica a recopilar información de distinto tipo: imágenes, noticias, móvil, vídeo, etc.. Os dejamos este enlace en el que podéis ver información de los 9 rastreadores de Google.
¿Qué es el Crawl Budget?
Ahora que ya os hemos explicado cómo funcionan los buscadores, debéis de saber que Google asigna a cada crawler un tiempo para rastrear información de cada sitio web, a este tiempo se le llama “Crawl Budget”. Y la pregunta que todo el mundo se hace es… ¿de qué depende el tiempo que un rastreador esté en mi web? Los buscadores deciden el tiempo que debe dedicar un crawler a una web según la autoridad, accesibilidad, calidad y velocidad del site.
¿Por qué es importante el Crawl Budget para SEO?
Durante nuestros más de 8 años de experiencia trabajando el posicionamiento SEO de páginas webs, hemos visto casos en los que el tiempo (crawl budget) que asigna Google a sus rastreadores es insuficiente para poder visitar todas las secciones de una web. Si el GoogleBot no visita regularmente las páginas del site, es probable que las páginas no se posicionen como nosotros queremos. También hemos visto que webs que son rastreadas habitualmente, reciben mucho más tráfico web que las que no lo son.
Si os parece interesante el tema del Crawl Budget, estamos seguros de que os interesa saber cómo aumentar las visitas del GoogleBot a vuestra página y así mejorar el SEO de vuestro negocio, para ello estad atentos a las siguientes publicaciones del blog dónde os lo contamos.
