Steuerung des Crawlings und Indexierung einer Webseite mit der robots.txt und den meta robots tags

Durch die robots.txt bzw. meta robots tags hat ein Webmaster eine wichtige Möglichkeit zur Hand, das Crawling auf der Webseite zu steuern. Es können Zugriffoptionen auf Seiten festgelegt und dadurch die Indexierung von Seiten beeinflusst werden. Zudem kann festgelegt werden, ob Links verfolgt und gewertet werden oder nicht. Ziel ist es, nur relevante HTML Seite im Index der Suchmaschine zu platzieren.

Canonical-Tag richtig nutzen

Das Canonical-Tag wurde eingeführt, um dem Problem des Duplicate Content Herr zu werden. Das Canonical wird verwendet, um doppelte Inhalte zu kennzeichnen und dem Suchmaschinen. Crawler mitzuteilen, welche von zwei oder mehr Versionen einer Webseite diejenige ist, die indexiert werden soll.

Das Element wird folgendermaßen im <head> der jeweiligen Seite integriert:

Doppelte Inhalte auf der eigenen Website: Finden, Beurteilen & Beseitigen – Schritt für Schritt

Die Problematik der doppelten Inhalte wird immer wieder thematisiert und ist ein Dauerbrenner wenn es um Suchmaschinenoptimierung geht. Für Laien ist es oft nicht leicht nachzuvollziehen was schon als doppelter Inhalt zählt, wie man diese überhaupt identifiziert und ob eine Anpassung in jedem Fall notwendig ist.

Oftmals wird argumentiert, dass gewisse inhaltliche Überschneidungen Doppelrankings bei Google bewirken, so dass für ein Keyword gleich zwei URLs ranken. Die Präsenz ist dadurch größer, wodurch theoretisch mehr Klicks generiert würden. Hierzu sei gesagt, dass Google offiziell keine Doppelrankings wünscht und es in der Mehrzahl der Fälle zu einem Abfall des Rankings einer URL führt.

Jetzt aber mal Schritt für Schritt.

Was sind doppelte Inhalte?

Von Doppelten Inhalten spricht man, wenn unterschiedliche URLs gleiche oder ähnliche Seiteninhalte haben. Dass eine komplett identische Seite ein Problem darstellt, wissen viele bereits. Aber was ist wenn nur ein paar kleine Elemente doppelt vorhanden sind, weil diese einfach auf allen Seiten notwendig sind? Machen Sie sich hier keine Sorgen! Es ist vollkommen normal, dass es Begriffe oder Strukturen gibt, die einheitlich sein müssen. Google erkennt dies und bewertet dies nicht als negativ. Wenn Sie nicht absichtlich Doppelte Seiten erstellt haben um die Suchergebnisse zu manipulieren, dann müssen Sie nicht mit einer Abstrafung rechnen. Es gibt aber auch Fälle, in denen absolut unbeabsichtigt doppelte Inhalte generiert werden: