Alternativ zur robots.txt kann man den Suchmaschinen auch über ein Robots Meta Element Befehle mit auf den Weg geben. Die wichtigsten Befehle sind allgemeingültige Anweisungen an die Suchmaschinen. Diese werden mittels des Robots Meta Elements im Headbereich der Webseite eingefügt.
Suchmaschinen verfügen über eine Standardeinstellung, wenn sie Webseiten indizieren. Die meisten Robots bzw. Crawler verhalten sich so, dass sie Seiten automatisch in den Index aufnehmen und den Hyperlinks der Webseite folgen. Aus diesem Grund verändert eine der folgenden beiden Zeilen das Verhalten der Suchmaschine nicht maßgeblich:
<meta name="robots" content="index,follow" />
oder
<meta name="robots" content="all" />
Neben diesem standardmäßig bereits eingestelltem Vorgehen, gibt es aber auch die Möglichkeit seine Webseite nicht in den Index aufnehmen zu lassen. Das Robots Meta Element sieht dann wie folgt aus:
<meta name="robots" content="noindex" />
Somit ist die Webseite in der Regel später nicht über Suchmaschinen auffindbar. Sofern die Webseite zwar bei einer Suchmaschine zu finden sein soll, allerdings nicht sämtliche Links im Index stehen dürfen, lässt sich dies auch regeln:
<meta name="robots" content="nofollow" />
Dies speichert zwar die Startseite im Index ab, folgt allerdings keinem der Hyperlinks auf der Webseite. Falls man dies nur für einzelne Links erreichen möchte, kann man den entsprechenden Links das Attribut rel="nofollow" geben. Das Robots Meta Element mit “nofollow” fällt demnach allerdings weg, da diese Einstellung sonst für alle Links greifen würde.
Analog zur robots.txt gilt aber auch hier, dass unerwünschte Spider sich von den getroffenen Einstellungen nicht beeinflussen lassen und dennoch die komplette Webseite (beispielsweise nach e-Mail Adressen) absuchen.
keine Kommentare zu " Robots Meta Element "