Robots.txt
Sitemap: http://frelu.de/sitemap.xml
# ===================================
# Folgende Seiten sollen nicht indexiert werden:
# ===================================
User-agent: *
Disallow: /cgi-bin/
Disallow: /manager/
Disallow: /asset/
# ===================================
# Schlie?e folgende Spider komplett aus:
# ===================================
User-agent: WebReaper
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: EmailCollector
Disallow: /
