Heute haben es Unternehmen einfach: Sie setzen ihre Seite auf, füllen sie mit Inhalt und stellen sie online. Google und Bing erkennen dann von ganz allein, dass es die Seite im Web gibt.
Das war Anfang der 2000er-Jahre noch anders. Damals mussten sie ihre Seite bei den Suchmaschinen anmelden, damit die Crawler diese erfassen und indexieren konnten. Dennoch lohnt es sich auch heute noch, Google und Bing bei der Indexierung von Webseiten zu unterstützen. Die XML Sitemap gehört zur klassischen OnPage Optimierung.
Das können Unternehmen über das Anlegen einer XML-Sitemap vornehmen. Wir zeigen, was eine XML-Sitemap ist, wie Seitenbetreiber diese erstellen und wie sie davon profitieren können.
Inhaltsverzeichnis
Was ist eine XML-Sitemap?
Eine XML-Sitemap ist eine Liste im XML-Format mit allen URLs einer Webseite, die Google indexieren soll. Unternehmen laden diese in der Google Search Console oder den Bing Webmaster Tools hoch. Sie hilft den Suchmaschinen dabei, alle Seiten und Unterseiten einer Webpräsenz zu crawlen. Eine Garantie erhalten Unternehmen jedoch nicht, dass die URLs für die Indexierung genutzt werden.
Wofür brauche ich eine XML-Sitemap?
Eine XML-Sitemap bietet Seitenbetreibern diese Vorteile:
Schnelle Indexierung: Haben Unternehmen gerade eine neue Webseite online gestellt, brauchen Google und Bing einige Zeit, um diese zu erkennen. Um sie dabei zu unterstützen, können Seitenbetreiber eine Sitemap nutzen. Sie teilt den Suchmaschinen aktiv mit, dass es eine neue Seite gibt. Das Ergebnis: Die Map sendet positive SEO-Signale. Eine Seite taucht so schneller in den SERPs auf.
Indexierung trotz fehlender Verlinkung: Insbesondere zum Launch einer Webseite kann es sein, dass die Inhalte der Seite noch nicht so miteinander verlinkt sind, wie Google und User das erwarten. Eine Sitemap unterstützt Suchmaschinen dabei, die Seiten trotzdem zu finden und zu crawlen.
Indexierung umfangreicher Webseiten: Große Webseiten mit dutzenden oder gar hunderten Unterseiten sind für Bing und Google schwer zu crawlen. Dabei gilt: Je größer eine Seite ist, desto höher ist die Wahrscheinlichkeit, dass die Suchmaschinen Unterseiten übersehen. Eine Sitemap senkt die Wahrscheinlichkeit, dass das passiert.
Schnelle Erkennung von Änderungen: Eine Webseite ist ein ständiger Prozess. Neue Inhalte kommen hinzu, alte werden entfernt, neue Seiten entstehen. Eine Sitemap weist Google auf Aktualisierungen und Änderungen hin.
Gezielte Platzierung: Wollen sich Unternehmen mit ihrem Content in einem bestimmten Bereich der SERPs platzieren, können sie das über eine Sitemap vornehmen. Wollen sie sich beispielsweise in den Google News positionieren, müssen sie eine separate, darauf ausgerichtete Sitemap erstellen. Google kann die Inhalte dann besser crawlen und für seinen News-Bereich verwenden. Das funktioniert auch für die Platzierung im Videobereich. Dafür erstellen Seitenbetreiber eine Video-Sitemap, die wichtige Informationen wie Spielzeit und Inhalt enthält.
✔ Mehr Traffic ✔ mehr Kunden ✔ Mehr Umsatz 👉 kostenlose SEO ErsteinschätzungWas ist der Unterschied zwischen einer XML-Sitemap & HTML-Sitemap?
Eine XML-Sitemap sorgt dafür, dass die Crawler von Bing und Google alle wichtigen Informationen über eine Seite erhalten. Eine HTML-Sitemap dagegen gibt Nutzern eine Übersicht über eine Webseite. Dazu visualisiert sie die Inhalte und Informationsarchitektur auf einen Blick, indem sie alle wichtigen Seiten und Unterseiten verlinkt auflistet. Diese Liste finden User oftmals im Footer auf allen Seiten oder in das Hauptmenü integriert. Auf diese Weise können sie sich besser und schneller auf einer Webseite zurechtfinden.
Welche Rolle spielt die XML-Sitemap für SEO?
Eine xml hilft Suchmaschinen dabei, Inhalte im Web einfacher zu erkennen und zu listen. Sie ist damit kein direkter Rankingfaktor. Sie kann jedoch insbesondere neuen Webseiten dabei helfen, positive SEO-Signale zu senden. Denn: Je schneller Bing und Google wissen, dass es neue URLs gibt, desto eher taucht eine Webseite in den Rankings auf. Das gilt auch für schwach verlinkte Webseiten.
Diese sind selten auf den vorderen Rängen der SERPs zu finden. Eine XML-Sitemap ersetzt zwar keine gute Backlinkstruktur. Sie erhöht jedoch die Chance, überhaupt gecrawlt zu werden – und so in Sachen SEO zu punkten und im Ranking zu steigen.
Wie erstelle ich eine XML-Sitemap?
Seitenbetreiber können eine Sitemap manuell oder über eine im CMS bereitgestellte Funktion erstellen. In der Regel ist eine Sitemap so aufgebaut:
<!–?xml version=”1.0″ encoding=”UTF-8″?–>
http://www.beispiel.com/
2010-05-20
monthly
0.8
Eine Sitemap sollte den Anforderungen der jeweiligen Suchmaschine angepasst sein. So erlaubt Google beispielsweise nur XML-Sitemaps, die maximal 50.000 URLs enthalten und 50 MB groß sind. Ist die Datei größer, müssen Seitenbetreiber die Sitemap aufteilen.
Eine Webseite erhält zudem immer wieder neue Inhalte. Das müssen Seitenbetreiber auch in einer Sitemap angeben. Haben sie die Map über ihr CMS generiert, nimmt dies die Aktualisierung automatisch vor. Haben sie die Map manuell erstellt, müssen sie jede neue URL in der Sitemap ergänzen.
Was gehört in die XML-Sitemap?
Grundsätzlich sollten Seitenbetreiber darauf achten, dass die xml
- nur URLs von derselben Domain enthält,
- nur Inhalte führt, die zugänglich sind und eine Suchmaschine indexieren soll,
- im UTF-8-Format codiert ist und die entsprechenden Escape-Codes hinterlegt sind,
- konsistent ist (also zum Beispiel keine unterschiedlichen Schreibweisen aufweist) und
- stets das „www“ in der URL führt.
Zusätzlich können Seitenbetreiber
- eine Angabe zum Zeichencode,
- die Priorität einer Unterseite,
- die letzte Modifikation und
- die Aktualisierungsfrequenz
angeben. Johannes Müller von Google ließ jedoch in einem Tweet wissen, dass einzig die URL und die letzte Modifikation wichtig sind.
Was gehört nicht in die Sitemap?
In eine xml gehören nur die Informationen, die eine Suchmaschine erfassen kann und indexieren soll. Worauf können Seitenbetreiber dabei achten?
Duplikate vermeiden: Seitenbetreiber sollten nur eine Version einer URL in die Sitemap aufnehmen. Das heißt: Sie sollten beispielsweise nicht www.seonative.de/blog und www.seonative.de/blog/ zusammen verwenden.
Fehler-Seiten vermeiden: Seiten mit dem Status-Code 404 bzw. 410 sollten nicht in einer Sitemap auftauchen.
Keine Weiterleitungen nutzen: Seitenbetreiber sollten in die xml-Datei nur eindeutige URLs aufnehmen. 301-Weiterleitungen irritieren die Bots von Bing und Google.
Auf URLs mit Canonical-Tag und Noindex-Tag verzichten: Ein Canonical Tag und ein noindex-Tag zeigen Google, dass es eine URL nicht indexieren soll. Seitenbetreiber sollten diese daher auch nicht in die xml-Datei aufnehmen. Ansonsten senden sie der Suchmaschine widersprüchliche Signale.
Wie reiche ich die Sitemap bei Google ein?
Damit Webseitenbetreiber eine xml-Datei bei Google hochladen können, benötigen sie einen Google-Account. Zudem müssen sie ihre Webseite in der Google Search Console verifizieren lassen. Danach können sie die xml manuell hochladen. Alternativ können sie die Datei auch auf einem Server hinterlegen und die entsprechende URL in der Search Console speichern. Auf diese Weise können Seitenbetreiber die Datei bei Bedarf immer wieder schnell und einfach aktualisieren.
Sollte die Map Fehler aufweisen, zeigt die Suchmaschine das in ihrer Search Console in der Spalte „Status“ an. Dieser verweist dann mit „Sitemap enthält Fehler“ daraufhin, dass etwas nicht in Ordnung ist. Kann Google eine Sitemap gar nicht abrufen, zeigt der Status „Konnte nicht abgerufen werden“ an. Google führt in seinem Hilfe-Bereich alle Fehlermeldungen und macht entsprechende Lösungsvorschläge.
Darüber hinaus sollten Seitenbetreiber die Sitemap in der robots.txt hinterlegen. Das hilft den Crawlern der Suchmaschine, sich auf einer Webseite zurechtzufinden. Denn: Ein Verweis in der robots.txt verrät den Crawlern, welche URL-Struktur eine Webseite besitzt.
XML Sitemap bereinigen – aber wie?
Auf folgende Fehlerquellen stoßen wir häufiger bei unserer täglichen Agentur-Arbeit innerhalb vieler Sitemaps.
Es werden URLs aufgeführt, die
- auf noindex stehen
- die einen Canonical-Verweis auf eine andere Seite haben
- die einen 404-Status Code zurückgeben
- die einen 301- / 302- oder sonstigen Redirect-Code zurückgeben
- die einen 50x Server Error zurückgeben
- die über die robots.txt vom Crawling ausgeschlossen werden
- die Parameter beinhalten, welche bereits über “URL-Parameter” in der Search Console ausgeschlossen wurden
Alle diese URLs kann und sollte Google nicht indexieren. Dadurch, dass sie in der Sitemap aufgeführt werden, muss Google diese aber dennoch crawlen und wird dadurch immer wieder auf dieselben unnötigen Crawling-Wege geschickt. Da Google für jede Website nur eine bestimmte Zeit für das Crawling aufwendet (je nach Website unterschiedlich, dies hängt von vielen Faktoren ab), bleibt dadurch weniger Zeit für das Crawling der eigentlich wichtigen Seiten.
Screaming Frog zur Identifizierung falscher URLs in der Sitemap
Die oben genannten Fehlerquellen lassen sich z. B. mithilfe des Tools “Screaming Frog SEO Spider” identifizieren. Hierzu sollten alle URLs der Sitemap herauskopiert und in eine Excel-Datei kopiert werden. Dort müssen dann zuerst alle Code -Schnipsel wie <loc> oder <lastmod> oder <url> entfernt werden. Am Ende soll pro Zeile nur noch die reine URL stehen bleiben.
Tipp: Leere Zeilen in Excel können übrigens ganz einfach per Filter gelöscht werden. Hierzu einfach für die Spalte mit den Inhalten den Filter aktivieren (unter Daten -> Filtern) und hierüber dann nur die leeren Zeilen anzeigen lassen. Diese komplett markieren und löschen und es bleiben nur noch die gefüllten Zeilen übrig.
Nun kann die komplette, um Code-Schnipsel und sonstige Angaben bereinigte URL-Liste in Screaming Frog gecrawlt werden (Mode -> List -> Upload List). Das Ergebnis lässt sich ganz einfach in Excel exportieren, dort können die URLs dann entsprechend sortiert werden – nach Statuscode, nach index / noindex, nach Canonical URL (bedingte Formatierung -> doppelte Inhalte) usw. Sofern in der Sitemap aufgeführte URLs in der robots.txt blockiert werden, wird dies auch in der Search Console angezeigt.
Nun lassen sich alle nicht in die Sitemap gehörenden URLs entfernen. Über Screaming Frog kann man danach direkt eine neue Sitemap erstellen lassen, wiederum mit der Funktion “upload list”. Alternativ kann natürlich auch über einen der vielen anderen Sitemap Generator eine XML Sitemap erstellt werden (einfach nach “Sitemap Generator” googeln). Sollte die Sitemap automatisiert durch das CMS erstellt werden, muss hier eine Lösung gefunden werden – entweder man sorgt dafür, dass das CMS nur noch die richtigen URLs in die Sitemap aufnimmt oder man stellt auf manuelle Änderungen um (was natürlich schwieriger wird, je größer die Website ist).
Professionelles SEO mit einer Agentur
Wir bei seonative sind eine SEO Agentur mit langjähriger Erfahrung in der Suchmaschinenoptimierung. Kontaktieren Sie uns für eine kostenlose SEO-Einschätzung!
✔ Mehr Traffic ✔ mehr Kunden ✔ Mehr Umsatz 👉 kostenlose SEO Ersteinschätzung
