# robots.txt fuer http://www.cemex.de/
User-agent: *
Disallow: /_notes/     # Die Dateien sind sehr kurzlebig
Disallow: /cache/      # Die Dateien sind sehr kurzlebig
Disallow: /css/        # Die Dateien sind sehr kurzlebig
Disallow: /exe_dateien/   # Die Dateien sind sehr kurzlebig
Disallow: /logs/       # Die ändern sich jeden Tag
Disallow: /mail/       # Die ändern sich jeden Tag
Disallow: /pics/       # Bilder nicht downloaden
Disallow: /preview/    # Die ändern sich jeden Tag
Disallow: /temp/       # Die ändern sich jeden Tag
Disallow: /cgi-bin/    # CGI Ausgaben nicht indexieren
Allow: /