Antes de comenzar este artículo te recomendamos la lectura de: “¿Qué es SEO y por qué se necesita? Posiciona tu página web como un profesional”

Seguramente te hayas preguntado cómo lo hace Google para rastrear, indexar, evaluar y posicionar tantísimas páginas webs en tan poco tiempo, pues para eso utiliza su super secreto algoritmo y los robots o también llamados spiders.

Los spiders se dedican a saltar de un enlace a otro por la web, cosiendo así una ‘tela de araña’.

Deberíamos destacar que no solo Google dispone de arañas, también las utilizan Bing, Yahoo… pero teniendo en cuenta que en España el 95% de las búsquedas que se realizan se hacen a través de Google es conveniente hablar de las de su propiedad y así ponérselo fácil cuando entren en nuestra web. En este artículo explicaremos qué son estos robots y cómo realizan su importante labor de forma tan efectiva (y odiosa para algunos).

Los spiders de Google se dedican a rastrear todo internet utilizando como carretera cada una de las webs y los enlaces que les conducen a otras, cosiendo así una “tela de araña” (De ahí el nombre de spiders) que realaciona todas las webs conectadas entre si y cuyo núcleo es Google.

 

¿Cual es su objetivo?

Se podría decir que las arañas se dedican a buscar, localizar y leer todo el contenido de internet, se lo entregan a su amo de las tinieblas, Google y el se encarga de aplicar el algoritmo que valorará el contenido de cada una de ellas para así posicionarlas según diferentes elementos  (actualmente todos relacionados con la experiencia del usuario, cuanto más te preocupes por el usuario mejor te posicionará Google) para devolverlos en forma de resultados cuando el usuario realiza la búsqueda de una determinada palabra clave.

Photo by Nicolas Picard on Unsplash

Photo by Nicolas Picard on Unsplash

Cómo realizan su función

Cuando un spider llega a una web, comienza a rastrear todo el contenido buscando palabras clave y valorar así su posicionamiento en el buscador, lo rastrea todo y se mueve a través de los enlaces de nuestra web, tanto internos como externos (Por esto mismo, que una web con bastante tráfico haga un enlace hacia nosotros beneficia tantísimo el posicionamiento SEO). Los enlaces, al ser su vía para ir saltando de página en página es importante que se encuentren en buen estado, ya que un enlace roto impedirá que continúen con su labor, por lo que la página de destino es como si no existiera para ellos.

Cuando la araña de Google avanza va tejiendo una red o mejor dicho índice de contenidos a partir de las palabras clave que va encontrando, ordenando y agrupando toda la información que posteriormente entregará a su amo Lord Google.

 

Cómo ven las webs

Los spiders no ven las webs como los humanos, ellos ven directamente los elementos que la forman y los que no pueden ver es como si no existieran para ellos y no serán indexados por Google. La herramienta explorar de Search console nos permite probar cómo rastrean los spiders nuestro sitio web mediante una simulación de un rastreo y procesamiento de una web, esto nos permite optimizar al máximo la web para evitar problemas de rastreo que pueden encontrar los robots de Google.

Programar correctamente un robot.txt impide el paso a los spiders

 

Robots.txt, su enemigo

Se podría decir que la única manera de impedir que los spiders no entren en nuestra web para rastrearla sería con los robots.txt (Un archivo de texto que de forma resumida le indica a los robots de Google qué páginas de nuestra web deben rastrear y cuales no.), esto lo explicamos más detalladamente en el artículo “Optimiza tu página web para el Posicionamiento SEO” .

Robots.txt es un arma poderosa que hay que usar con precaución, ya que el buen uso de esta nos puede hacer mucho bien para el posicionamiento SEO, ya que por ejemplo podemos impedir el contenido duplicado, pero un mal uso de esta puede hacer que los spiders no entren por lo que no consigamos posicionar la web, y eso nunca nos interesa.

Los robots.txt nos permiten excluir de la indexación diferentes elementos, como pueden ser:

  • Páginas webs: Excluir páginas web puede servirnos para evitar contenido poco relevante (Como contacta con nosotros, portfolio, los avisos legales, la información de las cookies…), o el contenido duplicado para que no perjudique al posicionamiento SEO del sitio web.
  • Imágenes y videos: Ya sabemos que Google no solo se limita a ser un buscador de webs, tambien abarca busqueda de imágenes, videos, noticias…  con los robots podemos evitar que estos archivos no aparezcan en los resultados de la búsqueda.
  • Otros recursos: Si creemos que algún recurso poco importante está afectando de forma negativa a nuestra web podemos incluirlo en robots.txt, pero si la ausencia de estos recursos complica el análisis de los spiders, no debemos bloquearlos o de lo contrario impedirán hacer su trabajo a los esbirros de Google.
¡Nos encantaría saber tu opinión sobre el artículo!
[Total de usuarios: 2 | Media total: 4.5]

Leave a comment