Syntax prüfen, Regeln analysieren und URL-Zugänglichkeit testen
robots.txt hier ablegen
oder klicken zum AuswählenErhalte eine Benachrichtigung wenn neue Tools erscheinen.
Eine robots.txt kann syntaktisch korrekt sein und trotzdem Fehler enthalten — falsch gesetzte Disallow-Regeln die wichtige Seiten blockieren, fehlende Sitemap-Einträge oder AI-Bots die ungewollt Zugriff haben. Dieser Validator analysiert die komplette Regelstruktur und zeigt konkrete Handlungsempfehlungen.
Disallow: /
für Googlebot oder andere wichtige Crawler wird als kritischer Fehler markiert.
Die Validierung läuft komplett im Browser — deine robots.txt verlässt nie deinen Computer. URL eingeben, Datei hochladen oder Text direkt einfügen. Kostenlos, ohne Account.
Eine robots.txt ist eine Textdatei im Stammverzeichnis einer Website (z.B.
example.com/robots.txt). Sie teilt Suchmaschinen-Crawlern mit, welche Bereiche der Website gecrawlt und indexiert werden
dürfen und welche nicht. Die Datei verwendet das Robots Exclusion Protocol mit Direktiven wie
User-agent,
Disallow,
Allow
und
Sitemap.
Mit diesem kostenlosen robots.txt Validator kannst du deine Datei auf drei Wegen prüfen: URL direkt
eingeben (z.B.
https://example.com/robots.txt), die Datei hochladen oder den Inhalt direkt einfügen. Das Tool prüft Syntax, Direktiven,
Crawler-Regeln und zeigt Fehler sowie Warnungen mit konkreten Handlungsempfehlungen.
Disallow: /
in der robots.txt?
+
Disallow: /
blockiert einen Crawler vollständig von der gesamten Website. Wenn dies für
User-agent: *
oder speziell für Googlebot gesetzt ist, kann Google die Website nicht crawlen und indexieren — ein
kritischer SEO-Fehler der sofortige Aufmerksamkeit erfordert.
Ja. OpenAI's
GPTBot,
Anthropic's
ClaudeBot, Perplexity's
PerplexityBot
und Google's
Google-Extended
können alle über robots.txt blockiert werden. Wichtig: Diese Bots respektieren die robots.txt freiwillig
— eine rechtliche Absicherung ersetzt sie nicht.
Disallow
verhindert das Crawlen, blockiert aber nicht zwingend die Indexierung — Google kann die URL trotzdem
indexieren wenn andere Seiten darauf verlinken. Das
noindex
Meta-Tag erfordert hingegen dass die Seite erst gecrawlt wird. Für zuverlässige Nicht-Indexierung sollte
beides kombiniert werden: Crawlen erlauben, aber
noindex
setzen.
Nein, eine robots.txt ist technisch nicht verpflichtend. Ohne die Datei haben alle Crawler vollen Zugriff. Empfehlenswert ist sie trotzdem: Sie ermöglicht die Steuerung des Crawl-Budgets, schützt interne Bereiche vor versehentlicher Indexierung und erlaubt die Deklaration der XML-Sitemap.
Der URL-Tester prüft nach der Validierung ob eine bestimmte URL von einem bestimmten Crawler gecrawlt
werden darf oder nicht. Einfach URL und User-agent (z.B.
Googlebot,
GPTBot)
eingeben — das Tool wertet alle relevanten Disallow- und Allow-Regeln aus und zeigt das Ergebnis sofort
an.