Der Google Crawler und das Kaufhaus

kaufhaus-schildWas viele Website Betreiber nach wie vor nicht wissen – nicht jede Seite einer Website wird immer automatisch gecrawlt, geschweige denn indexiert. Man muss den Google Crawler hier etwas an die (virtuelle) Hand nehmen und ihn (oder sie, oder es, um politisch korrekt zu sein) an die virtuelle Hand nehmen. Dies kann durch einen klugen Aufbau der Website ebenso geschehen sowie durch die Beachtung einiger einfacher Grundregeln. Der Crawler bringt pro Website ein (nicht pauschal definierbares) Crawling-Kontingent mit. Es werden also nur so viele URLs gecrawlt, bis das Kontingent erschöpft ist. Dann verabschiedet sich der Crawler wieder. Da man nicht genau weiß, wie hoch das Crawling-Budget für die eigene ist, sollte man also versuchen, den Crawler so zu leiten, dass zuerst vor allem die wichtigen Seiten gefunden und indexiert werden. Weniger wichtige können nachrangig behandelt werden.

Die Website als Kaufhaus

Am besten stellt man sich seine Website als Haus vor. Je größer die Internetpräsenz, desto größer ist das “Haus”. Im Falle von größeren Websites (z. B. Onlineshops etc.) dürfte es sich eher um ein Kaufhaus handeln. Beim Friseur von nebenan ist es wohl die 3-Zimmer-Wohnung. Je größer also das Haus, desto intensiver muss der Besucher (Crawler) geführt werden. Bei kleineren Websites wird in der Regel jede Seite ohne größere Probleme gefunden, sofern die Voraussetzungen stimmen (keine relevanten Seiten durch robots.txt oder per noindex von der Indexierung ausgeschlossen etc.). Nachfolgende Abschnitte konzentrieren sich daher also eher auf die Kaufhaus-Variante.

In einem Kaufhaus gibt es Schilder mit Geschäfts- und Abteilungs-Bezeichnungen (Kleidung, Spielzeug, Schmuck, Nahrungsmittel…), die den Kunden durch das Geschäft “leiten” und ihm zeigen, wo er was findet (alternativ gibts auch die Ikea-Variante, bei der man linear durch jede Abteilung geleitet wird). Bei einer Website können dies z. B. eine gute Navigation und eine durchdachte interne Verlinkung sein.

XML Sitemap

Dann gibt es in jedem guten Kaufhaus auch Tafeln mit Übersichten über alle Stockwerke und den entsprechenden Geschäften, optimaler-weise auch noch mit Wegbeschreibung. Diese Funktion übernimmt bei einer Website die XML-Sitemap. Sie zeigt dem Crawler also eine Komplett-Übersicht. Bei größeren Websites mit mehreren Sprachen können hier zusätzlich auch noch die jeweils zugehörigen Sprachversionen derselben URL angegeben werden (“hreflang”). Bei Websites mit vielen Bildern & Videos können auch hierfür separate Sitemaps angelegt werden. Wenns nicht ganz so viele sind, können diese auch in die normale Sitemap mit aufgenommen werden.

Leider werden auf vielen Websites die Sitemaps nur spärlich oder gar nicht regelmäßig gepflegt. Dabei ist diese einfache Liste ein sehr mächtiges Werkzeug für eine vernünftige Indexierung der eigenen Website. Vor allem bei Websites, die öfter eine Änderung erfahren, sollte die Sitemap mehrmals pro Woche angepasst werden.

Da man sich nicht darauf verlassen sollte, das Google die Sitemap von alleine findet, sollte diese unbedingt nach jeder Aktualisierung über die Webmaster Tools hochgeladen werden: Praktischerweise liefert Google hier auch noch gleich entsprechende Hinweise, sofern die Sitemap fehlerhaft ist. Zusätzlich wird angezeigt, wie viele der eingereichten URLs indexiert wurden. Wenn die Zahl der eingereichten und indexierten URLs zu stark voneinander abweicht, könnte evtl. auch ein Problem vorhanden sein.

Sitemap

Eingereichte XML Sitemap in den WMT

robots.txt

Bei einigen Kaufhäusern gibt es dann noch die Schildchen vor der Tür “wir müssen draußen bleiben” (mit einem kleinen Bildchen eines süßen Hundes nebendran) und im Gebäude selbst Türen, die mit “privat” oder “nur für Personal” beschriftet sind. Diese “du kommst hier net rein” Funktionen übernehmen bei einer Website die robots.txt bzw. das noindex-Metatag. Über die robots.txt sollte dann wiederum auch die Sitemap verlinkt werden, um dem Crawler direkt auf die Gesamt-Übersicht zu leiten.

Abnehmendes Crawling-Kontigent

Nun können Sie sich den Google-Crawler als ganz normalen Mann vorstellen, der mit seiner Frau durch das Kaufhaus marschiert. Am Anfang ist er noch gut zu haben (volles Crawling-Kontingent), mit der Zeit und der steigenden Anzahl der besuchten Klamotten-Läden wird dieses Kontingent aber immer mehr erschöpft. Spätestens nach dem achten Mode-Geschäft ist das Kontingent dann erschöpft und der Mann verlässt das Gebäude (wenn die Frau nicht will bleibt sie eben dort und muss sehen wie sie nach Hause kommt :D). Wurde der Mann dann zwischenzeitlich auch noch irgendwo zwischen geparkt, z. B. beim Würstchen-Stand, während die Frau schonmal das nächste Mode-Geschäft besucht hat… danach musste der Mann dann vermutlich einige Geschäfte abklappern (404 Error), bis er seine Frau gefunden hat. Dadurch hat sich das Crawling-Kontingent (Geduld) des Mannes weiter dramatisch reduziert, so dass definitiv nach dem achten Geschäft Schluss ist (eigene Erfahrungswerte sind in den Abschnitt mit eingeflossen).

So ist es auch mit dem Google-Crawler. Mit jeder besuchten Seite nimmt das Crawl-Budget (oder Crawling-Kontingent – egal) ab. Wird der Crawler dann zwischenzeitlich auch noch auf  404-Seiten geschickt (= verschwundene Frau), nimmt das Kontingent weiter ab, auch wenn keine existierende Seite dahinter steht. Bei sehr vielen 404-Seiten (und es gibt einige Websites mit unglaublich vielen 404-Seiten) kann man sich also vorstellen, was das bedeutet. Man sollte also die eigene Seite regelmäßig auf 404-Seiten überprüfen (z. B. über die Webmaster Tools unter Crawling -> Crawling-Fehler).

Regelmäßiger Check der Webmaster Tools

Selbstverständlich sollte es für jeden Admin sein (sofern er mit seiner Website in Google gefunden werden will), regelmäßig einen Blick in die Webmaster Tools zu werfen. Dort lässt sich recht schnell erkennen, wenn Probleme bei der Indexierung vorliegen. Zusätzlich sollte man die eigene Website auch hin und wieder in Google “suchen”, z. B. mit der Site-Abfrage. Auch hier lassen sich oftmals Probleme erkennen bzw. Seiten finden, die eigentlich nicht in den Index gehören.

Zum Schluss allen noch ein gutes & erfolgreiches neues Jahr 2015, bleiben Sie uns gewogen! 🙂

Frohe Feiertage wünschen Ihre seonatives

signet Frohe Feiertage und einen Guten Rutsch ins neue Jahr.
Die letzten Tage des Jahres stehen unmittelbar bevor. Wir möchten uns bei Ihnen, liebe Kunden, Partner und Freunde für ein tolles Jahr 2014 bedanken.Wir hoffen, dass Sie die Feiertage und den Jahreswechsel in Ruhe und im Kreise Ihrer Freunde und Familie verbringen können. Kommen Sie gut ins neue Jahr. Xmas
signet Gutes tun – Wir unterstützen Ärzte ohne Grenzen
Wir haben uns dieses Weihnachtsfest übrigens zum Anlass genommen, eine Organisation mit einer Spende zu unterstützen, die auch über die Feiertage rund um die Welt im Einsatz ist. Auch Sie können gutes tun: Jede Spende hilft.
Ärzte ohne Grenzen

spenden >
signet Auch im neuen Jahr immer auf dem Laufenden
Sind Sie schon ein Fan? Nicht? Dann werden Sie einer. Denn auch auf Facebook sind wir vertreten und sorgen dafür, dass Sie keine interessanten News verpassen. Die seonative-Facebook-Seite finden Sie auf http://www.facebook.com/seonative.
Facebook

zur Facebook-Seite >

 

Kooperation zwischen seonative und OnPageDoc

seonative und OnPageDoc starten ab sofort eine weitreichende Zusammenarbeit. Im Rahmen dieser wird seonative zur offiziellen und exklusiven Partner-Agentur von OnPageDoc.

Kooperation seonative OnpageDocOnPageDoc ist ein vielseitiges SEO-Tool, das vom Kölner Unternehmen SAC Solutions GmbH entwickelt und vertrieben wird. Es analysiert inhaltliche und technische suchmaschinenrelevante Aspekte inkl. Webseitenstruktur und Usability-Aspekte. Es überprüft Verlinkungen, unterstützt bei der Erstellung von Meta-Angaben und Map-Einbindungen.

OnpageDoc Webseite

OnpageDoc.com Webseite

Nun bietet OnPageDoc auch SEO-Service als Agenturleistung an – die Projekte werden dann von uns als offizieller SEO-Partner-Agentur betreut. Die Kooperation reicht aber noch weiter: Wir können die Tools im täglichen Betrieb einer SEO-Agentur testen und die Erkenntnisse für unsere eigenen Kundenprojekte verwerten. Wir liefern OnPageDoc im Gegenzug wertvolle Hinweise aus dem täglichen SEO-Business, schildern unsere Erfahrung im Umgang mit den Tools und tragen somit zu deren Weiterentwicklung bei.

Wir freuen uns auf eine gute Zusammenarbeit.

Unterschiedliche Ergebnisse bei gleicher Suchanfrage? Wie Google Suchergebnisse personalisiert

Wer nach etwas sucht oder etwas nicht weiß, der googelt – in der Hoffnung, dass die angezeigten Suchergebnisse die einzig wahre Lösung sind. Doch wer denkt, dass die Website, die unter den Suchergebnissen an Platz eins steht, auch für alle anderen Google Nutzer an erster Stelle erscheint, der liegt falsch. Das hängt mit der personalisierten Suche zusammen, die Google nach verschiedenen Faktoren durchführt. Wer zum Beispiel bei Google+ angemeldet ist, erhält in den Suchergebnisse vor allem Websites, die in seinem vernetzten Personenkreis beliebt sind. Doch nicht nur für Google+ Nutzer werden personalisierte Ergebnisse angezeigt, sondern für jeden, der die beliebte Suchmaschine verwendet – nach unterschiedlichen Kriterien.

Ranking nach Surfverhalten und früheren Suchanfragen

Für das personalisierte Ranking bei Google spielt vor allem die Suchhistorie der jeweiligen IP-Adresse eine Rolle, das sogenannte Webprotokoll. Google speichert das Webprotokoll unabhängig davon, ob der User angemeldet ist oder nicht, indem einfach die gesetzten Cookies verwendet werden. Außerdem ist das Webprotokoll meist unwissentlich aktiviert, so dass frühere Suchanfragen von der Suchmaschine gespeichert und anschließend verknüpft werden können. Das bedeutet konkret, dass wer zum Beispiel auf der Suche nach Hotels häufig hotel.de geklickt hat, in Zukunft Ergebnisse dieses Anbieters an höherer Rankingstelle sehen wird. Außerdem analysiert Google die bisher besuchten Websites hinsichtlich dessen, was bei früheren Suchanfragen geklickt wurde. So werden bei erneutem Googeln des gleichen Begriffs Ergebnisse gezeigt, die näher an den vorher angeklickten Ergebnissen liegen.

Der Standort ist für Suchanfragen entscheidend

Die Suchergebnisse, die Google liefert, hängen auch vom jeweiligen Standort ab. Anhand der IP-Adresse kann die Suchmaschine ungefähr bestimmen, wo sich der Suchende befindet und passgenaue Ergebnisse liefern. Wenn also von einer Berliner Wohnung aus nach Zahnärzten gegoogelt wird, liefert die Anfrage andere Ergebnisse, als bei einem Suchvorgang in Dortmund. Praktisch ist das natürlich in erster Linie für die Suchenden, denn sie finden so schneller, was sie vermutlich benötigen. Doch nicht nur die eigene IP-Adresse entscheidet, sondern auch, welche Google-Seite verwendet wird. Die Seiten Google.de, Google.at und Google.ch zum Beispiel liefern zwar alle deutschsprachige Ergebnisse. Dennoch unterscheiden sich die Suchergebnisse länderspezifisch, je nachdem, ob auf der deutschen, österreichischen oder schweizerischen Google-Seite gesucht wird. Gleiches gilt natürlich auch für andere Endungen wie beispielsweise .com, .it oder .fr. Aus SEO-Sicht ist es daher wichtig, eine Top-Level-Domain aus dem Land zu verwenden, in dem die Seite primär gefunden werden soll.

Und selbst der Browser, mit dem gegoogelt wird, ist für Suchanfragen noch relevant. So erhalten zum Beispiel Safari-User bei Suchen nach bestimmter Software eher Ergebnisse für Apple-kompatible Produkte. Bei Firefox, Internet Explorer oder Chrome hingegen sollten normalerweise gleiche Ergebnisse angezeigt werden – doch auch hier kann es zu Variationen kommen.

Diese Kriterien sind längst noch nicht alles. Welche Faktoren Google außerdem für die Personalisierung von Suchergebnissen verwendet, ist ein gut gehütetes Geheimnis des Konzerns. Wichtig für die Suchmaschinenoptimierung von Websites ist es aber in jedem Fall, das Ranking der eigenen Seite neutral zu betrachten und nicht dem Irrglauben anheim zu fallen, dass die Website bei allen Usern an Platz eins gelistet wird, nur weil das am heimischen Computer so der Fall ist.

Werden sichere Seiten mit SSL von Google bevorzugt?

„Sind meine Daten sicher?“ Diese Frage stellen sich viele Internetnutzer und seit dem Datenskandal rund um die NSA-Affäre nimmt das Thema Datensicherheit einen immer größeren Stellenwert ein. Websitebetreiber sollten daher ihre Angebote so sicher wie möglich gestalten. Zum Beispiel mit Secure Sockets Layer (SSL), einem Verschlüsselungsprotokoll, das zur sicheren Datenübertragung im Internet verwendet wird. Manche Websites haben es bereits, viele allerdings auch nicht. Nun kommt in die Debatte um SSL-Zertifikate und HTTPS-Verbindungen neuer Wind. Google gab nämlich kürzlich, nach bereits länger währenden Spekulationen, auf seinem Blog bekannt, dass die Nutzung einer sicher verschlüsselten Verbindung einen Rankingfaktor darstellt. Das bedeutet zunächst einmal nur, dass Google überprüft, ob Websites über ein SSL-Zertifikat verfügen, aus dem sich eventuell ein Rankingvorteil ergeben könnte. Für den Anfang plant Google dabei eine Art Übergangsfrist, in der die SSL-Zertifizierung nur ein schwacher Rankingfaktor bleiben soll. Zukünftig aber soll dieser ausgebaut und mit mehr Gewicht versehen werden – ganz im Sinne der Sicherheit des gesamten Internets. Allerdings schränkt das Unternehmen die Brisanz der Ankündigung auch ein: Immerhin seien bisher weniger als ein Prozent der globalen Suchanfragen überhaupt betroffen.

Sicherheit als Top-Thema der Zukunft

Die Logik von Google ist dabei recht einfach: Websitebetreiber, die den Aufwand für eine SSL-Zertifizierung ihres Angebots in Kauf nehmen, werden vermutlich auch hochwertige Inhalte zu bieten haben. Experten fürchten nun allerdings, dass diese Logik sich mit der Bekanntgabe, dass SSL-Zertifikate als Rankingvorteil gelten, umkehrt und Zertifikat vor Content geht. Google hingegen betont, dass dem Inhalt weiterhin eine wichtigere Rolle in Bezug auf das Ranking zugemessen wird, als der Verschlüsselung der Website.

Ungewöhnlich ist zumindest aber, dass Google so offen über seine Rankingfaktoren spricht. Möglicherweise hat die Bekanntmachung etwas mit dem NSA-Skandal zu tun, denn Datensicherheit und Verschlüsselung wurden von dem Konzern zu einer der Top-Prioritäten erklärt und sind Gegenstand intensiver Diskussionen. Deshalb bietet der Suchmaschinengigant nicht nur Best Practice-Beispiele als Orientierung, sondern auch jede Menge Informationen und Hilfestellungen rund um das Thema an.

Umstellen oder nicht?

Google geht mit seinen eigenen Diensten bereits seit längerem mit sehr gutem Beispiel voran, so dass Nutzer Angebote wie Gmail oder Drive sicher verwenden können. Für andere Anbieter ist es nicht ganz so einfach, denn während bei der Erstellung neuer Websites bereits zu einem SSL-Zertifikat geraten wird, zögern Betreiber von bereits bestehenden Websites noch länger. Eine Umstellung auf SSL ist immerhin nicht ganz ohne Aufwand zu bewerkstelligen, so dass viele Webmaster sich fragen, ob die Mühe sich auszahlt. Durch Googles Ankündigung hat sich die Perspektive nun geändert und die Relevanz der sicheren Verbindung nimmt zu – nicht nur aus SEO-Sicht. Die Rankingvorteile allerdings, die eine Umstellung mit sich brächte, können noch nicht als gewiss gelten, weshalb Abwarten vor der Umstellung als die beste Alternative erscheint. Fest steht aber auf jeden Fall, dass die Sicherheit von Websites nun auch hinsichtlich der Suchmaschinenoptimierung eine weitaus größere Rolle spielt. Googles Wunsch ist es, dass mehr und mehr Websitebetreiber ihre Angebote sicher verschlüsseln – durch die Erhebung der SSL-Zertifizierung zum Rankingfaktor wird der Erfüllung dieses Wunsches wohl langfristig auch wahrscheinlicher.