Wegweiser für Suchmaschinen-Bots: XML-Sitemap einreichen

Suchmaschinen indexieren die eigene Website üblicherweise automatisch. Doch wenn diese erst seit Kurzem online ist, kann man es den Suchmaschinen leichter machen und ihnen eine Art Wegweiser geben: eine XML-Sitemap. Das ist ein Inhaltsverzeichnis der Website. Gerade bei Internetseiten mit einer tief verschachtelten Navigation oder mit vielen Seiten, die in der Navigation nicht eingebunden sind, bietet sich das an.

Eine XML-Sitemap zeigt den Google-Bots den Weg (Foto: David Morrison, https://500px.com)

Google macht keine genauen Angaben, wie lange die Indexierung dauert und garantiert auch nicht, dass es mit einer Sitemap schneller geht. Doch Sitemaps sollen den Suchmaschinen dabei helfen, die Website besser zu crawlen und zu kategorisieren.

Prüfen, ob Website bereits im Index ist

Doch zunächst bietet es sich an, einen Blick in den Google Index zu werfen. Gerade ältere Seiten sind in der Regel schon enthalten. Dazu gibt man in der normalen Google Suche folgenden Befehl mit dem eigenen Domainnamen ein: site:eigene-domain.de. Nun werden alle indexierten Seiten ausgespuckt. Sind alle online gestellten Seiten dabei, ist die Website bereits vollständig indexiert. Falls (noch) nicht, folgt nun eine Anleitung, wie man eine XML-Sitemap erstellt und zwei Möglichkeiten, um diese bei Google einzureichen.

XML-Sitemap generieren

Eine XML-Sitemap kann man sich automatisch generieren lassen, u. a. mit folgendem Dienst: https://www.xml-sitemaps.com/. Hier trägt man die Domain ein und klickt auf Start. Nach der Generierung kann die Sitemap in mehreren Dateiformaten heruntergeladen werden. Für die Indexierung genügt die oberste Datei: sitemap.xml. Diese wird nun auf den Server in das Wurzelverzeichnis der Website geladen. Dann muss Google mitgeteilt werden, das die Sitemap existiert.

Erste Möglichkeit: Sitemap bei der Google Search Console einreichen

Am besten geht das, indem man sie bei der Google Search Console https://www.google.com/webmasters/ (ehemals Google Webmaster Tools) einreicht. Falls noch nicht vorhanden, kann man sich ein Konto anlegen. Hier lässt sich auch später die Entwicklung der eigenen Website besser überwachen. Man wird zudem benachrichtigt, wenn ein Problem mit der Website auftaucht.

Nach dem Einloggen bei der der Search Console wählt man die betreffende Website aus. Dann surft man zum Menüpunkt „Crawling“ „Sitemaps“. Oben rechts gibt es den roten Button „Sitemap hinzufügen/testen“. Hier gibt man den Pfad zur eben hochgeladenen Sitemap an, dazu muss in dem Feld nur noch „sitemap.xml“ ergänzt werden. Mit Klick auf „Sitemap einreichen“ wird die Sitemap nun direkt an Google gesendet.

Zweite Möglichkeit: Pfad zu Sitemap in robots.txt Datei einfügen

Wer sich nicht bei der Google Search Console anmelden möchte, hat eine weitere Möglichkeit, seine Sitemap bei Google bekannt zu machen: Mittels einer robots.txt-Datei.

Diese Datei gehört ebenfalls ins Wurzelverzeichnis der Website. Hier können verschiedene Angaben zum gewünschten Suchverhalten der Roboter gemacht werden. Beispielsweise kann man einzelne Verzeichnisse oder Seiten von der Indexierung durch Roboter ausschließen.

Üblicherweise lesen moderne Suchmaschinen-Roboter die robots.txt aus und befolgen die Anweisungen darin. Daher bietet es sich an, hier den Pfad zur eigenen XML-Sitemap einzufügen. So werden die Such-Roboter darauf hingewiesen.

Hat man bereits eine robots.txt-Datei, ergänzt man folgende Zeile mit der eigenen Domain an beliebiger Stelle. Falls nicht, erstellt man eine einfache Textdatei, nennt sie robots.txt und fügt die Zeile ein:

Sitemap: http://eigene-domain.de/sitemap.xml

Dann lädt man die robots.txt-Datei ins Wurzelverzeichnis der Website.

Fazit

Offiziell verspricht Google nicht, dass das Indexieren der eigenen Website mit einer XML-Sitemap schneller geht. Dennoch sollte man diese einreichen, um es den Suchmaschinen-Robotern leichter zu machen. Zumal sich der Arbeitsaufwand in Grenzen hält und es genügend Online-Dienste gibt, um sich eine eigene Sitemap generieren zu lassen.

Die einfachste Möglichkeit ist, die Sitemap mit Hilfe der Google Search Console (ehemals Webmaster-Tools) einzureichen. Hier kann man die Sitemap auch vorab auf Lesbarkeit testen. Wer sich nicht extra ein Konto einrichten möchte, kann den Pfad zur Sitemap auch in der robots.txt einfügen. Diese wird üblicherweise von modernen Suchrobotern gelesen und beachtet.