4. Die Datei robots.txt

Eine andere Möglichkeit als die Verwendung des Robots-Meta-Tags besteht in der Erzeugung der Datei "robots.txt" (kleingeschrieben). Dabei handelt es sich um eine simple ASCII-Datei im Stammverzeichnis, die, sofern sie vorhanden ist, von den Spidern eingelesen wird. Mit Hilfe dieser Datei ist eine wesentlich differenziertere Vorgabe zur Verhaltenweise der Robots möglich. Alle Robots schließen Sie z.B. aus mit:

          User-agent: *    # applies to all robots

          Disallow: /      # disallow indexing of all pages

Der Stern "*" gilt dabei als Jokerzeichen, d.h. in diesem Fall: Es sind alle Robots gemeint. Wenn Sie hier stattdessen den Namen eines bestimmten Robots einsetzen, dann gilt der nachfolgende Befehl für diesen Robot. Kommentare werden mit dem Gatterzeichen gekennzeichnet. Mit dem Befehl "Disallow" können Sie ganze Verzeichnisse den Blicken der Robots verwehren. "/" würde hier bedeuten: Alle Seiten; "/unterverz/" den Inhalt in diesem Unterverzeichnis.  Wenn Sie die Robots jedoch ausdrücklich einladen wollen, so lassen sie das Feld hinter "Disallow:" einfach leer:

          User-agent: *    # applies to all robots
          Disallow:      # allow indexing of all pages

Nähere Informationen zu der Datei robots.txt finden Sie auf der Homepage von selfhtml.

zurück    weiter