Darmowe narzędzia online
Generator robots.txt
Zdecyduj, co mogą pobierać roboty, wskaż sitemapę i opcjonalnie zablokuj crawlery trenujące modele AI. Gotowy plik skopiujesz lub pobierzesz.
Na przykład /admin lub /koszyk. Ścieżka zaczyna się od ukośnika.
GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot i inne.
Dane nie opuszczają Twojej przeglądarki. Nic nie wysyłamy na serwer.
Jak korzystać
- Zostaw domyślnie zezwolenie na indeksowanie całej witryny.
- Wpisz ścieżki, które mają być wyłączone, po jednej w wierszu.
- Podaj pełny adres sitemapy.
- Skopiuj lub pobierz plik i umieść go w katalogu głównym domeny jako /robots.txt.
Czym robots.txt nie jest
To prośba do robotów, nie zabezpieczenie. Zgodne roboty jej przestrzegają, ale plik jest publiczny i nie chroni danych. Prywatne treści zabezpiecz logowaniem, nie wpisem w robots.txt.
Blokowanie botów AI
Opcja dodaje reguły dla popularnych crawlerów, takich jak GPTBot, ClaudeBot, CCBot czy Google-Extended. Blokada nie wpływa na zwykłe wyszukiwanie Google ani Bing. Zastanów się jednak, czy chcesz być cytowany w odpowiedziach asystentów AI, bo blokada ogranicza także to.
Disallow nie usuwa z wyników
Zablokowany adres może nadal pojawić się w wynikach, jeśli prowadzą do niego linki. Aby usunąć stronę z wyników, użyj znacznika noindex i pozwól robotowi go odczytać.
Najczęstsze pytania
Potrzebujesz więcej niż narzędzia?
Jeśli stoi za tym większy projekt, strona, sklep albo aplikacja, opisz go w krótkim briefie. Odpowiadamy konkretnie i bez zobowiązań.
Opisz projekt