Googlebot
TL;DR
Der Googlebot ist der Crawler von Google, der Websites automatisch durchsucht, indem er Links von einer Seite zur anderen folgt und sie je nach Relevanz in den Index aufnimmt.
Was ist Googlebot?
Googlebot ist, wie der Name schon sagt, der Crawler (auch Bots genannt) von Google, der für das Crawlen von Websites zuständig ist. Googlebot ist die allgemeine Bezeichnung für:
- Ein Desktop-Crawler, der einen Nutzer auf dem Desktop simuliert (Googlebot Desktop).
- Ein mobiler Crawler, der einen Nutzer auf einem mobilen Gerät simuliert (Googlebot Smartphone).
Wie greift der Googlebot auf Ihre Website zu?
Die Aufgabe des Googlebot ist es, alle Websites und ihre Seiten über Links zu crawlen und zu scannen: Im Grunde findet und liest der Googlebot alle neuen oder aktualisierten Inhalte und fügt sie auf der Grundlage ihrer Relevanz in den Index ein.
Die von den Google-Crawlern erzeugten Besuche können in den Referrer-Protokollen angezeigt werden, und sie sollten in der robots.txt angegeben werden.
Googlebot crawlt so viele Seiten einer Website wie möglich, respektiert aber auch die vom Website-Eigentümer ausgewählten Disavow-Links.
Um Google um die (Neu-)Indizierung einer Website zu bitten, beachten Sie bitte diese allgemeinen Richtlinien:
- Das Crawling kann zwischen einigen Tagen und einigen Wochen dauern, aber Sie können den Fortschritt immer mit den Google-Tools überwachen: Index-Statusbericht oder das Tool zur URL-Überprüfung.
- Das mehrfache Anfordern eines erneuten Crawls für dieselbe URL oder Sitemap führt nicht dazu, dass sie schneller gecrawlt wird.
- Der beste Weg, um zu überprüfen, ob eine Anfrage tatsächlich von Googlebot stammt, ist ein Reverse-DNS-Lookup der Quell-IP der Anfrage.
- Google geht aktiv gegen Spammer vor. Wenn Sie Spam-Seiten oder -Websites in den Google-Suchergebnissen bemerken, können Sie Spam an Google melden.
- Wenn Sie verhindern möchten, dass Googlebot den Inhalt Ihrer Website crawlt, haben Sie mehrere Möglichkeiten. Achten Sie auf den Unterschied zwischen dem Verhindern, dass Googlebot eine Seite crawlt, dem Verhindern, dass Googlebot eine Seite indiziert, und dem Verhindern, dass eine Seite überhaupt für Crawler oder Nutzer zugänglich ist.
