Googlebot ist der Crawler von Google, der verwendet wird, um Websites automatisch zu scannen, indem er Links von einer Seite zur anderen folgt und sie dem Index basierend auf der Relevanz hinzufügt.
Googlebot, wie der Name schon sagt, ist Googles Crawler (auch Bosts genannt), der für das Crawlen von Websites zuständig ist. Googlebot ist der allgemeine Name, der für Folgendes steht:
Ziel von Googlebot ist es, alle Websites und deren Seiten über Links zu durchsuchen und zu scannen: Googlebot findet und liest im Grunde genommen alle neuen oder aktualisierten Inhalte und fügt sie dem Index nach ihrer Relevanz hinzu. Die von den Google-Crawlern erstellten Besuche können in den Referrer-Protokollen angezeigt werden und sollten in der robots.txt angegeben werden.
Das Ziel des Googlebots ist es, so viele Seiten wie möglich von einer Website zu durchsuchen, aber auch die vom Website-Besitzer ausgewählten Verweise zu respektieren; um Google zu bitten, eine Website (neu) zu indizieren, beachten Sie bitte diese allgemeinen Richtlinien:
