Viable Service

Robots sind programmierte Mechanismen, also Algorithmen, die regelmäßig wiederkehrende Aufgaben erfüllen. Verkürzend wird auch von Bots gesprochen.

Im Kontext der Metadaten verweist der Begriff auf Algorithmen von Suchmaschinen. Sie untersuchen Ihre Website zur Indexierung, in dem sie Inhalte auslesen und Verlinkungen folgen (auch als "spidern" bezeichnet). Als Eingabe wird im Eingabefeld für die Robots ein möglichst kerniger Schlüsselbegriff erwartet, der den Robot "füttert". Im Sinne eine optimierten Suche (Search-Engine-Optimization SEO) ist dies im Regelfall auch erwünscht.

Ein gegenläufiger Aspekt besteht darin Mechanismen von Suchmaschinen (Spidern, Crawlern oder eben Bots) das Untersuchen der Archive mit sensiblen Daten oder Testanwendungen zu untersagen.

Das geschieht u.a. über eine Datei, die sog. ".htaccess", sie regelt den Zugang (access) zu Hypertexten. Darin befinden sich Befehle/Scripte die z.B. die Verzeichnisse mit Administrationdaten vor Suchmaschinen verschließen.

Eine zweite Methode nutzt eine Datei mit Namen "robots.txt" in der ähnlich wie in der .htaccess Hinweise für die Robots enthalten sind.

Beispiel für den möglichen Inhalt einer robot.txt:

"User-agent: *
Disallow: /cgi-bin/
Disallow: /logs/
Disallow: /test/
Disallow: /privat/ "

Eine dritte, dabei schwächere Methode besteht darin, sich direkt über einen Metadateneintrag "<meta name="robots" content="noindex">" an die bots zu wenden und Ihnen eine Indizieren der Seiteninhalte ("noindex") zu verbieten. Ein "nofollow" untesagt das Verfolgen von Links "Gute Bots" respektieren das, "böse Bots" hält dies nicht ab. Umgekehrt wiederum wirkt die Zuweisung "index, follow" als positives Signal und dient der Suchmaschinenoptimierung (SEO).

"Beispiele für Bots sind die Webcrawler von Internet-Suchmaschinen, die selbsttätig Webseiten besuchen, wobei sie den vorhandenen Links folgen und dabei ggf. den Inhalt der Seiten auswerten. „Gutartige“ Bots halten sich dabei an die Robot Exclusion Standards, mit denen Serverbetreiber das Botverhalten kontrollieren können. „Bösartige“ Bots werden zum Sammeln von E-Mail-Adressen für Spamzwecke, für das massenhafte unautorisierte Kopieren von Webinhalten bis hin zum systematischen Ausspionieren von Softwarelücken von Servern mit dem Ziel des Hackens von Servern eingesetzt. Maßnahmen gegen das unerwünschte Spidern von Websites basieren häufig auf dem Einsatz von sog. Honeypots zur automatischen Erkennung und einer darauf folgenden IP-basierten Aussperrung." (Vgl.: http://de.wikipedia.org/wiki/Bot)