El blog oficial de Yahoo Search anunció que la araña del motor de Yahoo, mejor conocido como Yahoo Slurp, ahora soporta comodines dentro del archivo de robots.txt. Los dos parámetros nuevos que soporta incluyen "*" y el "$". El "*" sirve para que lo interprete como una secuencia de caracteres ya sea antes o después, ya sea de archivos o de directorios. Por ejemplo:

User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*_print*.html

Permite que se revise cualquier archivo dentro de /public/ además de archivos que comiencen con "public" como "/public_html/" o "/publicacion/". Y niega la revisión de archivos como "/casa_print.html" o "/_print1.html"

Y el "$" sirve para filtrar extensiones y archivos que terminen en un mismo caracter, por ejemplo:

User-Agent: Yahoo! Slurp
Disallow: /*.gif$
Allow: /*?$

No permite que se revise ningún archivo de su sitio que tenga la extensión ".gif". Nótese que sin el "$" deshabilitaría los archivos ".gif" solo de la carpeta raíz. Y permite la inclusión de todos los archivos que terminen con "?".

¡Compártelo!