Sitemaps sind Textdateien, die im Idealfall alle Seiten (absolute URLs) unter einer bestimmten Domain auflisten, um das Crawling zu vereinfachen, indem alle verfügbaren URLs zur Verfügung gestellt werden, und um sie korrekt zu indizieren.
Eine Sitemap ist (normalerweise eine XML-Datei) mit Informationen über die Seiten, Videos und andere Dateien auf der Website.
Suchmaschinen verwenden die Sitemaps, um die Website korrekt zu crawlen, da sie dem Crawler folgende Informationen übermittelt: Identifizierung der wesentlichen Dateien auf der Website, Crawlen der neuesten Seite und Inhaltsaktualisierungen Siehe die alternativen Sprachversionen einer Seite Angabe der Videolaufzeit, der Kategorie und ihrer Alterseignungsbewertung Anzeige von Thema, Typ und Lizenz der Bilder.
Eine Sitemap hilft den Crawlern, die Website und ihre Seiten zu entdecken und die Indizierung der Website zu verbessern. Es wird empfohlen, eine aktualisierte Sitemap einzureichen, wenn: Die Website ist wirklich groß, und die Sitemap wird Crawlern helfen, die neu hinzugefügten oder aktualisierten Seiten zu finden. Die Website hat viele Inhalte und Seiten, aber sie sind nicht miteinander verlinkt. Die Website ist neu veröffentlicht und enthält nur wenige externe Links. Wenn es keine Links gibt, die auf die neu veröffentlichten Seiten oder die Website verweisen, können Googlebot und andere Webcrawler diese möglicherweise nicht entdecken.
Sobald die Seiten ausgewählt sind, die von den Crawlern der Suchmaschinen gecrawlt werden sollen, bestimmen Sie die kanonische Version jeder Seite und das zu verwendende Sitemap-Format (XML, RSS, mRSS und Atom 1.0, Text). Die Sitemap kann manuell erstellt oder automatisch aus mehreren Tools von Drittanbietern generiert werden. Nachdem die Sitemap generiert wurde, stellen Sie sie den Crawlern der Suchmaschinen zur Verfügung, indem Sie sie in die robots.txt-Datei der Website einfügen oder sie an die Suchkonsole übermitteln.
