Vollständiger robots.txt Generator mit AI-Bot Kontrolle
Erhalte eine Benachrichtigung wenn neue Tools erscheinen.
Die meisten robots.txt Generatoren bieten nur ein einfaches Textfeld oder ein starres Template. Das Ergebnis ist oft eine unvollständige Datei die wichtige Crawler-Regeln vergisst oder AI-Bots unkontrolliert Zugriff auf Inhalte lässt die nicht für das Training verwendet werden sollen.
Dieser Generator deckt alle relevanten Direktiven ab — von Standard-Suchmaschinen bis zu den neuesten AI-Crawlern — und erzeugt eine sofort einsatzbereite robots.txt ohne manuelle Nacharbeit.
Disallow: / Eintrag.
/admin/ oder /private/ sind vorausgefüllt.
Das Ergebnis ist eine saubere, kommentierte robots.txt — bereit zum direkten Download oder zum Kopieren in den Server. Kostenlos, ohne Account, sofort nutzbar.
Eine robots.txt ist eine Textdatei im Stammverzeichnis einer Website (erreichbar unter domain.de/robots.txt). Sie teilt Suchmaschinen-Crawlern mit, welche Bereiche gecrawlt werden dürfen und welche nicht. Ohne robots.txt haben alle Crawler vollen Zugriff auf die gesamte Website.
Dieser Generator bietet vollständige Kontrolle über AI-Bots wie GPTBot, ClaudeBot, PerplexityBot und Google-Extended — auf Knopfdruck einzeln aktivierbar oder blockierbar. Zusätzlich können Disallow- und Allow-Pfade, Crawl-Delay und Sitemap-URLs konfiguriert werden.
Ja. Über die Toggle-Schalter können GPTBot (ChatGPT), ClaudeBot (Claude), PerplexityBot und Google-Extended (Gemini) gezielt blockiert werden. Wichtig: AI-Bots respektieren die robots.txt freiwillig — eine rechtliche Absicherung ersetzt sie nicht.
Die generierte robots.txt muss in das Root-Verzeichnis der Website hochgeladen werden — erreichbar unter https://domain.de/robots.txt. Google liest diese Datei automatisch beim nächsten Crawl. Eine manuelle Einreichung ist nicht notwendig.
Der Crawl-delay gibt an wie viele Sekunden ein Crawler zwischen zwei Requests warten soll. Sinnvoll bei Websites mit begrenzten Serverressourcen. Wichtig: Googlebot ignoriert diese Direktive — für Google wird das Crawl-Budget in der Google Search Console gesteuert.