Indexierung

Indexierung ist der Vorgang, bei dem eine Suchmaschine wie Google eine Webseite erfasst, ihren Inhalt analysiert und in ihren Suchindex aufnimmt, eine Art Datenbank aller bekannten Seiten. Erst eine indexierte Seite kann in den Suchergebnissen (SERP) erscheinen. Der Index ist damit die Voraussetzung für jedes Ranking: Was nicht im Index steht, existiert für Google praktisch nicht.

Vor der Indexierung kommt das Crawling: Der Googlebot folgt Links und ruft Seiten ab. Crawling und Indexierung sind aber nicht dasselbe. Google kann eine Seite crawlen und sie trotzdem nicht in den Index aufnehmen, etwa bei dünnem oder doppeltem Inhalt.

Warum es wichtig ist

Ranking-Optimierung, Backlinks oder eine gute Meta-Description bringen nichts, solange eine Seite nicht indexiert ist. Die Indexierung ist die technische Voraussetzung für organische Sichtbarkeit. Bei neuen oder umgebauten Websites muss deshalb geprüft werden, ob die wichtigen Seiten im Index landen und unwichtige (Filter-URLs, Danke-Seiten, Login-Bereiche) bewusst draussen bleiben.

Wie es in der Praxis funktioniert

Die Indexierung lässt sich über mehrere Hebel steuern:

• robots.txt regelt das Crawling (den Zugriff), nicht direkt die Indexierung. Eine per robots.txt gesperrte Seite kann trotzdem indexiert werden, wenn andere Seiten auf sie verlinken.
• Meta-Robots-Tag noindex ist der zuverlässige Weg, eine Seite aus dem Index zu halten. Die Seite darf dafür nicht gleichzeitig per robots.txt gesperrt sein, sonst sieht Google das noindex nie.
• Canonical-Tag bündelt mehrere ähnliche URLs auf eine bevorzugte Version und vermeidet Duplicate Content.
• XML-Sitemap liefert Google eine Liste deiner relevanten Seiten und beschleunigt das Auffinden.
• Google Search Console zeigt im Bericht "Seiten", welche URLs indexiert sind und warum andere ausgeschlossen wurden. Sie ist das wichtigste Diagnosewerkzeug.

Erzwingen lässt sich eine Indexierung nicht, aber begünstigen: mit sauberer interner Verlinkung, kurzer Ladezeit, eindeutigen Canonicals und eigenständigen Inhalten von guter Qualität. Bei begrenztem Crawl-Budget wählt Google aus, und dünne oder kopierte Seiten werden häufiger übergangen.

Crawl-Budget: wann es zählt

Bevor Google eine Seite indexiert, muss der Googlebot sie abrufen (crawlen). Wie viele URLs er in einem Zeitraum abruft, heisst Crawl-Budget. Es hängt davon ab, wie viele Abrufe dein Server ohne Verzögerung verkraftet und wie wichtig und aktuell Google deine Seiten einschätzt.

Für eine KMU-Website mit einigen Dutzend oder Hundert Seiten ist das Crawl-Budget laut Google kein Thema. Relevant wird es bei sehr grossen Websites, etwa Shops mit tausenden Filter-URLs. Dort helfen:

• überflüssige Parameter- und Filter-URLs per robots.txt sperren oder gar nicht erst verlinken
• doppelte Versionen mit dem Canonical-Tag zusammenfassen
• Weiterleitungsketten auflösen und Fehlerseiten reduzieren
• eine schnelle Serverantwort

Wichtig: Ein noindex spart kein Crawl-Budget, denn Google muss die Seite abrufen, um das Tag zu lesen. Den Verlauf zeigt der Bericht "Crawling-Statistik" in der Google Search Console.

Praxis-Bezug für Schweizer KMU

Ein typischer Fehler bei KMU-Websites: Nach dem Launch bleibt versehentlich das noindex-Tag aus der Testphase aktiv, und die ganze Seite ist für Google unsichtbar. Ebenso häufig sind zahlreiche indexierte Filter- oder Tag-Seiten, die den Index verwässern. Nach jedem Relaunch lohnt sich deshalb eine Prüfung in der Search Console, ob die wichtigen Angebotsseiten und lokalen Landingpages indexiert sind. Webtree richtet bei jeder Website die Google Search Console ein, in der sich der Indexierungsstatus laufend verfolgen lässt.