Bevor wir das klären können, beginnen wir mal damit, was der Googlebot überhaupt ist. Alsoooo … der Googlebot ist ein sogenannter „Crawler“ und das ist nichts anderes als ein Computerprogramm, das Inhalte aus dem Internet sammelt, speichert und indexiert.
Googlebot, der Website-Kraxler
Der Googlebot „besucht“ also Websites, liest die Inhalte aus und speichert diese im Google Index. Wenn man nun auf Google eine Suche startet, wird das Suchwort mit den indexierten Daten im System verglichen und die relevantesten Informationen bzw. Websites werden als Ergebnis ausgeworfen. Wurde eine Website vom Googlebot noch nicht gecrawlt, erscheint über diese Website auch kein Suchergebnis – sie ist Google ja noch nicht bekannt. Vergleichbar ist dies wohl am leichtesten mit einer neuen Straße, die das Navi noch nicht findet.
Wann kommt der Googlebot vorbei?
Wer nun möchte, dass seine Website in den Index aufgenommen wird, muss nicht warten bis der Googlebot die Site auf seinem Spaziergang zufällig findet. Über die Google Search Console lässt sich eine neue Website manuell hinzufügen, was für den Googlebot der Befehl ist die Website nach Inhalten, Bildern und Verlinkungen zu durchsuchen.
Wie kommt es von der Indexierung zum Ranking?
Die gecrawlten Inhalte werden mithilfe eines sogenannten Parsers erfasst, in einzelne Element zerlegt und für die Weiterverarbeitung hergerichtet. Bei diesem Prozess des Parsing wird ein Stichwortregister gebildet, in dem der Bot jedes Element bewertet und dann alle Webpages anhand vieler Faktoren im Algorythmus einstuft. Unter anderem sind hier der Text, verlinkte Pages, die Häufigkeit oder auch die Position des Fokuskeywords und vieles mehr für die Positionierung auf der Google Search Result Page (SERP) entscheidend.
Wie oft crawlt der Googlebot eine Website?
Das hängt von einigen Faktoren ab. Zum Beispiel ob auf die Website von anderen Seiten verlinkt wird, insbesondere wenn Google diese Websites als wichtig einstuft. Denn der Googlebot folgt auch Verlinkungen und somit steigt die Frequenz der Googlebot-Besuche wenn die Website viele hochwertige Backlinks besitzt. Ein weiterer Faktor ist die Aktualisierungsfrequenz der eigenen Website. Wenn der Googlebot bemerkt, dass die Website auch noch häufig aktualisiert wird, kann es auch schon mal vorkommen, dass er alle 10 Sekunden zu Besuch kommt. Im Vergleich dazu: Bei kleinen „unwichtigen“ Websites welche nur sehr selten aktualisiert werden, kann der Besuch auch schon mal einen Monat oder länger dauern.
„Die Seite bitte nicht indexieren.“
2005 führte Google die Attribute „follow“ und “nofollow” ein, das heißt ich kann dem Googlebot mitteilen, welchen Verlinkungen er folgen oder eben nicht folgen soll. Außerdem lässt sich der Googlebot auch über die robots.txt mit den Befehlen „Allow“ und „Disallow“ steuern. Wenn diese Textdatei für eine Website angelegt ist, kann man sie unter der Eingabe von www.beispielseite.at/robots.txt einsehen – auch für fremde Websites 😉
Ok, aber warum soll Google eine Seite nicht indexieren?
Sinn macht es zum Beispiel, unfertige Unterseiten oder Seiten, bei denen die Qualität noch nicht wie gewünscht ist, auf „nofollow“ zu setzen. Außerdem ist der Googlebot mit einer Art „Budget“ ausgestattet, das heißt es gibt eine bestimmte Anzahl an URLs, die Google crawlen kann und möchte. Auch aus diesem Aspekt ist es schlau, das Budget des Googlebots nicht für unwichtige oder ähnliche Seiten auf der eigenen Website zu verschwenden.
Wer also vor hat, seine Website für die Suche zu optimieren – wie wichtig SEO heutzutage ist, muss ich an dieser Stelle wohl nicht erwähnen – sollte sich mit der Indexierung der eigenen Website auseinandersetzen. Oder anders gesagt: Los, zeigt dem Google Kraxler den Weg!
Bildquelle: unsplash