# Massendownloader vom CGI Verzeichnis fernhalten
User-agent: wget
User-agent: webzip
User-agent: webmirror
User-agent: webcopy
Disallow: /cgi-bin/

User-agent: *
Disallow: /typo3/
Disallow: /typo3_src/
Disallow: /t3lib/
Disallow: /typo3conf/
Disallow: /typo3temp/
Disallow: /uploads/
Disallow: /einzelnachricht # Alle dateien und ordner mit einzelnachricht ausschliessen
Disallow: /103.100         # RSS Feed vom Crawlen ausschliessen

User-Agent: MJ12bot
Disallow: