Wo lege ich die robots.txt ab?

Im Stammverzeichnis der Domain, sodass sie unter ihredomain.de/robots.txt erreichbar ist. Jede Subdomain braucht eine eigene Datei.

Bedeutet ein leeres Disallow ein Verbot?

Nein. Ein leerer Disallow-Wert bedeutet, dass nichts gesperrt ist. Die ganze Website sperren Sie mit Disallow und einem Schrägstrich.

Ist die Sperre von KI-Bots wirksam?

Bei Crawlern, die die robots.txt beachten, ja. Bots, die den Standard ignorieren, hält sie nicht auf.

Kann ich mehrere Sitemaps angeben?

Ja, eine Datei darf viele Sitemap-Zeilen enthalten. Dieses Tool erzeugt eine, weitere können Sie von Hand ergänzen.

Kostenlose Online-Tools

robots.txt-Generator

Legen Sie fest, was Crawler abrufen dürfen, verweisen Sie auf Ihre Sitemap und sperren Sie optional Crawler, die KI-Modelle trainieren. Die fertige Datei kopieren oder herunterladen.

Crawlern die Indexierung der Website erlauben

Ausgeschlossene Pfade (einer pro Zeile)

Zum Beispiel /admin oder /warenkorb. Ein Pfad beginnt mit einem Schrägstrich.

Sitemap-URL

KI-Crawler sperren

GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot und weitere.

Inhalt der robots.txt

User-agent: *
Disallow: /admin
Disallow: /api

Ihre Daten verlassen Ihren Browser nicht. Wir senden nichts an einen Server.

So verwenden Sie das Tool

Lassen Sie das Crawlen der gesamten Website standardmäßig erlaubt.
Tragen Sie auszuschließende Pfade ein, einen pro Zeile.
Geben Sie die vollständige Sitemap-URL an.
Kopieren oder laden Sie die Datei herunter und legen Sie sie im Stammverzeichnis der Domain als /robots.txt ab.

Was robots.txt nicht ist

Sie ist eine Bitte an Crawler, kein Sicherheitsmechanismus. Regelkonforme Bots halten sich daran, doch die Datei ist öffentlich und schützt keine Daten. Schützen Sie private Inhalte mit einem Login, nicht mit einem robots.txt-Eintrag.

KI-Bots sperren

Die Option ergänzt Regeln für gängige Crawler wie GPTBot, ClaudeBot, CCBot und Google-Extended. Die Sperre betrifft die normale Suche bei Google oder Bing nicht. Überlegen Sie aber, ob Sie in Antworten von KI-Assistenten zitiert werden möchten, denn die Sperre schränkt auch das ein.

Disallow entfernt keine Seiten aus den Ergebnissen

Eine gesperrte URL kann weiterhin in den Ergebnissen erscheinen, wenn andere Seiten darauf verlinken. Um eine Seite aus den Ergebnissen zu entfernen, nutzen Sie ein noindex-Tag und lassen den Crawler es lesen.

Häufige Fragen

Brauchen Sie mehr als ein Werkzeug?

Steckt dahinter ein größeres Projekt, eine Webseite, ein Shop oder eine App, beschreiben Sie es in einem kurzen Briefing. Wir antworten konkret und unverbindlich.

Projekt beschreiben