How To: „Abruf wie durch Google“

Ein aktuelles Rankingproblem eines Kunden machte mich nach längerer Zeit wieder auf das Diagnosetool von Google aufmerksam. Mit der Funktion in den Webmaster Tools, welche unter dem Punkt „Crawling“ zu finden ist, kann man sich aufzeigen lassen, wie der Googlebot eine Seite sieht. Die Funktion „Abrufen“ gibt es schon länger, seit Mai 2014 können Seiten zusätzlich gerendert werden. Das bedeutet, man erhält ein Vorschaubild wie der Googlebot die Seite sieht und kann ggf. Unterschiede zur Sicht des Besuchers erkennen. Bei der Seite des Kunden gab es die Vermutung, dass Google nicht alle Inhalte der Seite lesen und verstehen konnte, da u.a. viel mit JavaScript gearbeitet wurde. Eine Prüfung mit „Abruf wie durch Google“ ergab folgendes Ergebnis:

2015-01-22 16_07_34-Webmaster-Tools - Abruf wie durch Google

Der Googlebot konnte nicht alle Ressourcen der Seite erreichen, dementsprechend war das Vorschaubild nur eine graue Seite. Weiter unten wird aufgelistet, welche Ressourcen aus welchen Gründen nicht abgerufen werden konnten. Und siehe da, zwei Skripte wurden von der robots.txt-Datei blockiert. Doch haben gesperrte CSS- oder JavaScript-Dateien wirklich negative Auswirkungen auf das Ranking? In einem Blogpost empfiehlt Google:

„Wir empfehlen euch daher, dafür zu sorgen, dass der Googlebot auf alle eingebetteten Ressourcen zugreifen kann, die für die sichtbaren Inhalte oder das Layout eurer Website wichtig sind. Zum einen erleichtert euch das die Verwendung von „Abruf wie durch Google“, zum anderen kann der Googlebot dann diese Inhalte finden und indexieren.“

Nach kurzem Anruf beim Kunden wurden die blockierenden Elemente aus der robots.txt-Datei entfernt. Danach war das Rendern ohne Fehler möglich. Eine Woche später hat sich das Ranking von Seite 6 auf Seite 2 wieder erholt.

Was kann man mit der Funktion „Abruf wie durch Google“ noch anstellen?

Zunächst kann man wählen, ob man die Startseite oder eine bestimmte Unterseite abrufen lässt. In der Woche stehen maximal 500 Abrufe zur Verfügung. Danach kann man den Googlebot-Typ auswählen. Hier gibt es folgende vier Browsertypen zur Auswahl:

Webmaster-Tools - Abruf wie durch Google

Danach kann die Seite abgerufen werden (schnelle Variante) oder abgerufen und gerendert werden (eingehende Prüfung). Unterhalb erscheinen die Crawling-Ergebnisse, welche beispielsweise so aussehen können:

2015-02-04 16_06_02-Webmaster-Tools - Abruf wie durch Google

Wenn die Prüfung erfolgreich war, ist der Status „Abgeschlossen“. Weitere Statuswerte:

  • Fehler: Ein Problem von Google (am besten erneut versuchen)
  • Teilweise (bei Rendern): Google konnte nicht alle Ressourcen der URL erreichen
  • Weitergeleitet: Der Server verwies Google während des Aufrufs an eine andere URL
  • Blockiert: Ihre robots.txt-Datei blockiert das Abrufen der URL durch Google

Indexierung bei Google anfordern

Eine weitere nette Funktion ist das Senden von URLs an den Google Index. Kürzlich abgerufene Seiten können durch die Schaltfläche „An den Index senden“ direkt an Google gesendet werden. Danach öffnet sich ein Popup mit zwei Möglichkeiten:

  1. „Nur diese URL crawlen“: Google crawlt erneut die Seite und schickt diese anschließend an den Index (500 Abrufe pro Woche)
  2. „Diese URL und ihre direkten Links crawlen“: Die angegebene URL und die direkt verlinkten Seiten werden erneut gecrawlt. (10 Anfragen pro Monat)

Dadurch können z.B. neu erstellte Seiten manuell und schnell an den Index gesendet werden.

Das Tool bietet zusammenfassend umfangreiche Möglichkeiten rund um das Thema „Crawling und Indexierung“ und kann nicht nur bei Rankingproblemen hilfreich sein. 😉

Unterschiedliche Ergebnisse bei gleicher Suchanfrage? Wie Google Suchergebnisse personalisiert

Wer nach etwas sucht oder etwas nicht weiß, der googelt – in der Hoffnung, dass die angezeigten Suchergebnisse die einzig wahre Lösung sind. Doch wer denkt, dass die Website, die unter den Suchergebnissen an Platz eins steht, auch für alle anderen Google Nutzer an erster Stelle erscheint, der liegt falsch. Das hängt mit der personalisierten Suche zusammen, die Google nach verschiedenen Faktoren durchführt. Wer zum Beispiel bei Google+ angemeldet ist, erhält in den Suchergebnisse vor allem Websites, die in seinem vernetzten Personenkreis beliebt sind. Doch nicht nur für Google+ Nutzer werden personalisierte Ergebnisse angezeigt, sondern für jeden, der die beliebte Suchmaschine verwendet – nach unterschiedlichen Kriterien.

Ranking nach Surfverhalten und früheren Suchanfragen

Für das personalisierte Ranking bei Google spielt vor allem die Suchhistorie der jeweiligen IP-Adresse eine Rolle, das sogenannte Webprotokoll. Google speichert das Webprotokoll unabhängig davon, ob der User angemeldet ist oder nicht, indem einfach die gesetzten Cookies verwendet werden. Außerdem ist das Webprotokoll meist unwissentlich aktiviert, so dass frühere Suchanfragen von der Suchmaschine gespeichert und anschließend verknüpft werden können. Das bedeutet konkret, dass wer zum Beispiel auf der Suche nach Hotels häufig hotel.de geklickt hat, in Zukunft Ergebnisse dieses Anbieters an höherer Rankingstelle sehen wird. Außerdem analysiert Google die bisher besuchten Websites hinsichtlich dessen, was bei früheren Suchanfragen geklickt wurde. So werden bei erneutem Googeln des gleichen Begriffs Ergebnisse gezeigt, die näher an den vorher angeklickten Ergebnissen liegen.

Der Standort ist für Suchanfragen entscheidend

Die Suchergebnisse, die Google liefert, hängen auch vom jeweiligen Standort ab. Anhand der IP-Adresse kann die Suchmaschine ungefähr bestimmen, wo sich der Suchende befindet und passgenaue Ergebnisse liefern. Wenn also von einer Berliner Wohnung aus nach Zahnärzten gegoogelt wird, liefert die Anfrage andere Ergebnisse, als bei einem Suchvorgang in Dortmund. Praktisch ist das natürlich in erster Linie für die Suchenden, denn sie finden so schneller, was sie vermutlich benötigen. Doch nicht nur die eigene IP-Adresse entscheidet, sondern auch, welche Google-Seite verwendet wird. Die Seiten Google.de, Google.at und Google.ch zum Beispiel liefern zwar alle deutschsprachige Ergebnisse. Dennoch unterscheiden sich die Suchergebnisse länderspezifisch, je nachdem, ob auf der deutschen, österreichischen oder schweizerischen Google-Seite gesucht wird. Gleiches gilt natürlich auch für andere Endungen wie beispielsweise .com, .it oder .fr. Aus SEO-Sicht ist es daher wichtig, eine Top-Level-Domain aus dem Land zu verwenden, in dem die Seite primär gefunden werden soll.

Und selbst der Browser, mit dem gegoogelt wird, ist für Suchanfragen noch relevant. So erhalten zum Beispiel Safari-User bei Suchen nach bestimmter Software eher Ergebnisse für Apple-kompatible Produkte. Bei Firefox, Internet Explorer oder Chrome hingegen sollten normalerweise gleiche Ergebnisse angezeigt werden – doch auch hier kann es zu Variationen kommen.

Diese Kriterien sind längst noch nicht alles. Welche Faktoren Google außerdem für die Personalisierung von Suchergebnissen verwendet, ist ein gut gehütetes Geheimnis des Konzerns. Wichtig für die Suchmaschinenoptimierung von Websites ist es aber in jedem Fall, das Ranking der eigenen Seite neutral zu betrachten und nicht dem Irrglauben anheim zu fallen, dass die Website bei allen Usern an Platz eins gelistet wird, nur weil das am heimischen Computer so der Fall ist.