# Ejemplo archivo robots.txt  
User-agent:*  
Disallow: /bd/
Disallow: /cgi/
Disallow: /comercio/
Disallow: /css/
Disallow: /flash/
Disallow: /scripts/
Disallow: /boletines/