Безкоштовні онлайн-інструменти
Генератор robots.txt
Визначте, що можуть завантажувати роботи, вкажіть sitemap і за бажання заблокуйте краулери, що навчають моделі ШІ. Готовий файл можна скопіювати або завантажити.
Наприклад /admin або /cart. Шлях починається зі скісної риски.
GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot та інші.
Ваші дані не залишають браузер. Ми нічого не надсилаємо на сервер.
Як користуватися
- Залиште за замовчуванням дозвіл на індексацію всього сайту.
- Впишіть шляхи, які слід виключити, по одному в рядку.
- Вкажіть повну адресу sitemap.
- Скопіюйте або завантажте файл і розмістіть його в корені домену як /robots.txt.
Чим robots.txt не є
Це прохання до роботів, а не захист. Сумлінні роботи його дотримуються, але файл публічний і не захищає даних. Приватний контент захищайте входом, а не записом у robots.txt.
Блокування AI-ботів
Опція додає правила для популярних краулерів, як-от GPTBot, ClaudeBot, CCBot і Google-Extended. Блокування не впливає на звичайний пошук Google чи Bing. Подумайте, чи хочете ви, щоб вас цитували у відповідях ШІ-асистентів, адже блокування обмежує й це.
Disallow не прибирає сторінки з видачі
Заблокована адреса все одно може з'явитися у видачі, якщо на неї ведуть посилання. Щоб прибрати сторінку з видачі, використайте тег noindex і дозвольте роботу його прочитати.
Поширені запитання
Схожі інструменти
Потрібно більше, ніж інструмент?
Якщо за цим стоїть більший проєкт, сайт, магазин чи застосунок, опишіть його в короткому брифі. Відповімо конкретно й без зобов'язань.
Описати проєкт