# Robots Exclusions for www.blinde-kuh.de # Our best regards to all search-enginers # This is the standard, if you don't know # http://www.robotstxt.org/wc/norobots.html # In CGI-Verzeichnissen crawlt man ja eigentlich # sowieso nicht. Aber, bitte, wer meint, ... User-agent: * Disallow: /cgi-bin Disallow: /search.cgi Disallow: /browse.cgi Disallow: /zufall/random.cgi # zudem Disallow: /bkimages Disallow: /mailto Disallow: /search Disallow: /download Disallow: /milkmoon Disallow: /mmindex.html Disallow: /wiwindex.html Disallow: /kvindex.html Disallow: /kinderpost/ml Disallow: /kinderpost/postfach.html # Google abbremsen mit non-standards # http://www.google.com/webmasters/3.html#B3 User-agent: Googlebot* Disallow: /search.cgi* Disallow: /browse.cgi* Disallow: /*.cgi* Disallow: /*.zip$ Disallow: /*.gif$ Disallow: /*.jpg$ # Bilder klauen macht uns zu viel traffic, sorry! # Ausserdem ist das ja nicht so ganz die feine Art User-Agent: Googlebot-Image Disallow: / # AltaVista's Photo Finder User-Agent: vscooter Disallow: / # Related Links? Wozu denn das? # Alexa User-Agent: ia_archiver Disallow: / # Auch Sauger wollen wir sperren User-agent: Teleport* Disallow: / User-agent: Webwhacker* Disallow: / User-agent: Webzip* Disallow: / User-agent: Net Attache* Disallow: / User-agent: SiteSnagger* Disallow: / User-agent: HTTrack* Disallow: / User-agent: WebCapture* Disallow: / User-agent: WebSauger* Disallow: / # Email-Raeuber hoeren ja eh nicht auf mich, # kann ich mir hier also getrost sparen