Sitemap und robots.txt: Wie Google Ihre Seite richtig liest

Bevor Ihre Webseite bei Google überhaupt auftauchen kann, muss Google sie erst einmal lesen. Dafür schickt die Suchmaschine kleine Programme los, sogenannte «Crawler», die sich von Link zu Link durch Ihre Seite hangeln und notieren, was sie finden. Zwei unscheinbare Dateien helfen ihnen dabei enorm: die Sitemap und die robots.txt. Die meisten Unternehmer haben noch nie von ihnen gehört, dabei entscheiden sie mit, wie gut Sie gefunden werden.

Keine Sorge: Sie müssen das nicht selbst programmieren. Aber zu verstehen, was diese beiden Dateien tun, hilft Ihnen, die richtigen Fragen zu stellen und keine bösen Überraschungen zu erleben. Ich erkläre es so, wie ich es einem Kunden am Küchentisch erklären würde.

Wie Google Ihre Seite überhaupt findet

Stellen Sie sich Google als einen Besucher vor, der noch nie bei Ihnen war und keinen Stadtplan hat. Er kommt auf Ihrer Startseite an und folgt dann jedem Link, den er entdeckt, zur Über-uns-Seite, zu den Leistungen, zum Kontakt. So baut er sich nach und nach ein Bild Ihrer ganzen Webseite zusammen. Diesen Vorgang nennt man Crawling.

Das Problem: Findet ein Link irgendwo nicht statt, übersieht Google die dahinterliegende Seite vielleicht komplett. Und bei grösseren Seiten verliert der Crawler schon mal den Überblick, was wichtig ist und was nicht. Genau hier kommen unsere beiden Helfer ins Spiel.

Die Sitemap: Ihr Inhaltsverzeichnis für Google

Eine Sitemap ist nichts anderes als eine ordentliche Liste aller Seiten, die Sie bei Google haben möchten. Sie liegt als kleine Datei (meist sitemap.xml) auf Ihrem Server und sagt der Suchmaschine im Klartext: «Hier sind alle meine Seiten, bitte schau sie dir an.»

Sie überlassen es damit nicht mehr dem Zufall, ob Google jeden Winkel Ihrer Webseite findet. Das ist vor allem nützlich, wenn:

• Ihre Seite neu ist und noch kaum Verlinkungen von aussen hat,
• Sie viele Unterseiten haben, etwa einen Blog oder einen Produktkatalog,
• einzelne Seiten schlecht intern verlinkt sind und sonst übersehen würden.

Eine Sitemap garantiert kein Top-Ranking, sie sorgt aber dafür, dass Google überhaupt weiss, dass es Ihre Seiten gibt. Und was Google nicht kennt, kann es niemandem zeigen.

Die robots.txt: der Türsteher Ihrer Webseite

Die robots.txt ist die Gegenspielerin der Sitemap. Während die Sitemap einlädt, kann die robots.txt höflich abwinken. Sie ist eine winzige Textdatei, die Google sagt, welche Bereiche es besser nicht anschauen soll.

Warum sollte man Google irgendetwas verbieten wollen? Weil nicht jede Seite für die Öffentlichkeit gedacht ist. Typische Beispiele:

• interne Login-Bereiche oder Admin-Seiten,
• Dankeschön-Seiten, die nur nach dem Absenden eines Formulars erscheinen,
• doppelte oder technische Seiten, die in den Suchergebnissen nur stören würden.

Wichtig zu wissen: Die robots.txt ist eine Bitte, kein Schloss. Seriöse Suchmaschinen halten sich daran, aber sie schützt keine sensiblen Daten. Wirklich Vertrauliches gehört hinter ein Passwort, nicht bloss hinter einen Eintrag in der robots.txt.

Der häufigste Fehler, und warum er teuer wird

Ich sehe es immer wieder: In der robots.txt steht aus Versehen eine Zeile, die Google die ganze Webseite verbietet. Das passiert schneller, als man denkt, etwa wenn eine Seite während des Aufbaus bewusst vor Google versteckt wurde und man vergisst, die Sperre vor dem Start wieder zu entfernen.

Die Folge ist bitter: Die Seite ist online, sieht schön aus, funktioniert, und taucht bei Google trotzdem nirgends auf, weil eine einzige Zeile den Crawler an der Tür abweist. Wochenlang wundert man sich, warum keine Anfragen kommen. Deshalb gehört ein Blick in die robots.txt zu den ersten Dingen, die ich nach jedem Start kontrolliere.

So spielen die beiden zusammen

Am besten denken Sie an ein Gebäude: Die Sitemap ist der Wegweiser im Eingang, der alle Räume auflistet, die Besucher sehen sollen. Die robots.txt ist die Beschriftung an den Türen, die Privaträume als «nicht öffentlich» kennzeichnet. Zusammen sorgen sie dafür, dass Google effizient durch Ihr Haus geführt wird, und seine Aufmerksamkeit auf die Räume legt, auf die es Ihnen ankommt.

Üblicherweise verweist die robots.txt am Ende sogar direkt auf die Sitemap. So findet Google beim ersten Besuch sofort beides: die Einladung und die Hausordnung.

Was Sie konkret tun sollten

Sie müssen kein Technik-Profi werden, aber diese paar Punkte lohnen sich:

• Prüfen Sie, ob Ihre Seite überhaupt eine Sitemap hat, oft erreichbar unter Ihrer Adresse plus /sitemap.xml.
• Werfen Sie einen Blick in Ihre /robots.txt und stellen Sie sicher, dass dort nicht versehentlich alles gesperrt ist.
• Melden Sie Ihre Webseite einmalig in der kostenlosen Google Search Console an und reichen Sie dort Ihre Sitemap ein. So sehen Sie schwarz auf weiss, was Google von Ihrer Seite hält.

Wenn Ihnen das zu technisch klingt, ist das völlig in Ordnung, genau dafür gibt es Leute wie mich. Bei meinen Webseiten sind Sitemap und robots.txt von Anfang an sauber eingerichtet, damit Google Ihre Seite von der ersten Stunde an richtig liest. Mögen Sie wissen, wie es um Ihre aktuelle Seite steht? Schauen Sie sich gern weitere Beiträge an oder melden Sie sich unverbindlich über das Kontaktformular, ich werfe einen Blick darauf und sage Ihnen ehrlich, ob Google Ihre Seite überhaupt richtig findet.