# robots.txt fuer http://www.tunnel.ch/ # Anleitungen und Regeln finden Sie am Ende des Dokuments User-agent: * Disallow: /bin/ Disallow: /css/ Disallow: /data/ Disallow: /firmenlogo/ Disallow: /grafik/ Disallow: /neu/ Disallow: /office/ Disallow: /member/ Disallow: /_functions.asp Disallow: /_functions_solve.asp Disallow: /solve* Disallow: /search* Disallow: /jobs_new* Disallow: /jobs_delete* Disallow: /jobs_chiffre* Disallow: /kontakt.asp Disallow: /error404.asp Disallow: /solve_delete.asp Disallow: /*.pdf$ # Hier steht der Linkverweis fuer die XML Sitemap # Sitemap: http://www.tunnel.ch/sitemap.xml # DIE REGELN by http://www.kohlfuerst.at/ # Disallow:/ # Gesamte Präsenz soll nicht gecrawlt werden # Disallow: /*? # Seiten, die ein Fragezeichen in der URL enthalten, sollen nicht gecrawlt werden # Disallow: /verzeichnis/ # Allow: /verzeichnis/datei.htm # Crawle verzeichnis nicht ausser datei.htm # Disallow: /*.doc$ # Alle Dateien mit der Endung .doc sollen NICHT gecrawlt werden # Disallow: /*? # Allow: /*?$ # Alle Dateien nicht crawlen, die ein Fragezeichen enthalten. # Dateien, welche direkt mit einem Fragezeichen enden, sollen hingegen indexiert werden # Disallow: /nein*/ # Alle verzeichnisse die mit nein beginnen ( /neinsagen/, /nein-meinen/ etc.) vom Crawling ausschliessen