# robots.txt zu http://www.hwick.de/ # Zugriff für alle Robots auf alle Dateien User-agent: * Allow: / # Beispiele für Einträge # User-agent: UniservalRobot/1.0 # User-agent: mein-Robot # Disallow: /quellen/dtd/ # Allow: /quellen/dtd/index.html # User-agent: * # Disallow: /unsinn/ # Disallow: /temp/ # Disallow: /newsticker.shtml