Referenzen
Kontakt
052 508 14 81
LexikonSEO

robots.txt

Die robots.txt ist eine Textdatei im Stammverzeichnis deiner Domain. Sie teilt Suchmaschinen-Bots mit, welche Bereiche sie crawlen dürfen und welche nicht.

Die robots.txt ist eine einfache Textdatei, die im Stammverzeichnis einer Domain liegt, also unter https://www.deine-domain.ch/robots.txt. Seriöse Suchmaschinen-Bots wie der Googlebot rufen sie als Erstes ab, wenn sie eine Website besuchen. Darin legst du über das Robots Exclusion Protocol fest, welche Pfade ein Crawler abrufen darf und welche er auslassen soll. Wichtig: Die robots.txt steuert das Crawling, nicht die Indexierung. Diese Verwechslung kommt häufig vor.

Warum es wichtig ist

Suchmaschinen crawlen pro Website nur eine begrenzte Zahl von Seiten, das sogenannte Crawl-Budget. Mit der robots.txt lenkst du es auf die relevanten Seiten und hältst Bots von unwichtigen Bereichen fern, etwa von internen Suchergebnissen, Filter-URLs, Warenkörben oder Admin-Pfaden. Zudem verweist die Datei üblicherweise auf die XML-Sitemap, damit Bots die Struktur deiner Website schneller erfassen. Fehler wirken sich hier stark aus: Eine falsch gesetzte Zeile kann die ganze Website vom Crawling ausschliessen und die Rankings einbrechen lassen.

Wie es in der Praxis funktioniert

Die Datei besteht aus Regelblöcken mit User-agent (für welchen Bot) und Disallow bzw. Allow (welche Pfade). Darauf kommt es an:

  • Crawling ≠ Indexierung: Disallow verhindert nur das Abrufen. Ist eine gesperrte URL über externe Links bekannt, kann Google sie trotzdem ohne Snippet indexieren. Um eine Seite zuverlässig aus dem Index zu halten, brauchst du noindex im <head>. Die Seite darf dafür nicht per robots.txt gesperrt sein, sonst sieht Google das noindex nie.
  • Sitemap-Verweis: Eine Zeile wie Sitemap: https://www.deine-domain.ch/sitemap.xml gehört in jede robots.txt.
  • CSS und JavaScript nie sperren: Google muss diese Ressourcen laden, um Seiten korrekt darzustellen und für Mobilgeräte zu bewerten.
  • Genau prüfen: Ein einzelnes Disallow: / sperrt die gesamte Domain. Das ist ein klassischer Fehler mit teuren Folgen.
  • Kein Schutz für Daten: Die robots.txt ist öffentlich einsehbar und nur eine Bitte. Böswillige Bots ignorieren sie.

Am einfachsten prüfst du die Datei in der Google Search Console, die einen eigenen robots.txt-Bericht bietet.

Praxis-Bezug für Schweizer KMU

Viele KMU-Websites tragen eine veraltete robots.txt mit, oft noch aus der Bauphase und mit einer Sperre für die ganze Website. Das fällt lange niemandem auf, weil die Seite selbst normal funktioniert. Für ein typisches Schweizer KMU genügt eine schlanke Datei: alles erlauben, nur sensible Pfade sperren und die Sitemap verlinken. Nach jedem Relaunch gehört zu den ersten Prüfungen, ob die robots.txt die Live-Seite nicht aussperrt.

Häufige Fragen

Die robots.txt steuert das Crawling, also ob ein Bot eine Seite überhaupt abruft. Das noindex-Tag steuert die Indexierung, also ob die Seite in den Suchergebnissen erscheint. Willst du eine Seite zuverlässig aus dem Index halten, nutze noindex und sperre die Seite nicht zusätzlich per robots.txt. Sonst kann Google das noindex gar nicht lesen.

Immer im Stammverzeichnis der Domain, erreichbar unter deine-domain.ch/robots.txt. In Unterordnern oder unter einem anderen Dateinamen ignorieren Suchmaschinen sie. Pro Domain bzw. Subdomain gilt genau eine robots.txt.

Nein. Die robots.txt ist öffentlich einsehbar und nur eine Empfehlung an gutwillige Bots. Wer Verzeichnisse darin auflistet, macht sie sogar leichter auffindbar. Sensible Inhalte schützt du über Passwortschutz, Login oder serverseitige Zugriffsregeln.

Passende Leistungen