Aunque las mayoría de las veces queremos que las arañas de los motores de búsqueda lean e indexen tanto contenido de nuestro sitio como sea posible, hay situaciones donde deberíamos prevenir que estas arañas accedan a ciertas páginas o partes de nuestro sitio web como por ejemplo a lugares no-públicos, scripts, utilidades, contenido duplicado o otros tipos de códigos innecesarios para la indexación.

Para esto solo debemos hacer uso de un archivo de texto, el cual debe nombrarse “robots.txt” y debe estar ubicado en la raíz de nuestro sitio, este archivo tiene sus lineamientos, pero básicamente su única función es la de comunicar a las arañas de los buscadores que contenido revisar y cual debe omitir e inclusive podemos definir a que buscadores comunicárselo.

Para más información acerca de la creación de este archivo visita: robotstxt.org

La siguiente imagen tomada de Elliance, una firma de eMarketing, ilustra la forma en que trabaja el archivo “robots.txt” en un sitio web:

¡Compártelo!