# robots.txt for http://www.beispiel.de/ # Zugriff auf alle Dateien erlauben User-agent: * Disallow: /*? Disallow: /go/ Disallow: /picture/ Disallow: /landing/ Disallow: /blog/outgoing/ Disallow: /index.php # # User-agent: wget User-agent: webzip Disallow: /