Sitemaps sind Textdateien, die idealerweise alle Seiten (absolute URLs) unter einer bestimmten Domain auflisten, um das Crawling zu vereinfachen, indem alle verfügbaren URLs zur Verfügung gestellt werden, und um sie richtig zu indizieren.
Eine Sitemap ist eine Datei (in der Regel eine XML-Datei) mit Informationen über die Seiten, Videos und anderen Dateien auf der Website.
Suchmaschinen verwenden die Sitemaps, um die Website korrekt zu crawlen, da sie dem Crawler folgende Informationen übermittelt:
Identifizierung der wichtigsten Dateien auf der Website
Crawlen der letzten Seiten- und Inhaltsaktualisierungen
Anzeige der alternativen Sprachversionen einer Seite
Angabe der Videolaufzeit, der Kategorie und der Altersfreigabe
Anzeige von Thema, Typ und Lizenz der Bilder.
Eine Sitemap hilft den Crawlern, die Website und ihre Seiten zu entdecken und die Indexierung der Website zu verbessern. Es wird empfohlen, eine aktualisierte Sitemap einzureichen, wenn:
Die Website ist sehr umfangreich, und die Sitemap hilft den Crawlern, die neu hinzugefügten oder aktualisierten Seiten zu finden.
Die Website hat viele Inhalte und Seiten, die aber nicht miteinander verlinkt sind.
Die Website ist neu veröffentlicht und hat nur wenige externe Links. Wenn es keine Links gibt, die auf die neu veröffentlichten Seiten oder die Website verweisen, werden sie von Googlebot und anderen Webcrawlern möglicherweise nicht entdeckt.
Sobald die Seiten ausgewählt sind, die von den Crawlern der Suchmaschinen gecrawlt werden sollen, bestimmen Sie die kanonische Version jeder Seite und das zu verwendende Sitemap-Format (XML, RSS, mRSS und Atom 1.0, Text).
Die Sitemap kann manuell erstellt oder automatisch von verschiedenen Tools Dritter generiert werden. Nachdem die Sitemap erstellt wurde, stellen Sie sie den Crawlern der Suchmaschinen zur Verfügung, indem Sie sie zur robots.txt-Datei der Website hinzufügen oder sie an Search Console übermitteln.