Выбирает робота, для которого действуют правила. Звёздочка означает всех совместимых роботов.
Техническое SEO
Генератор
robots.txt.
Выберите CMS, настройте доступ поисковых роботов и скачайте готовый файл. Все изменения сразу отображаются в предпросмотре.
02
Проверьте адресГотовый файл
0 правил0 предупреждений
Куда загрузить файл
https://example.ru/robots.txtПоместите файл в корень сайта и убедитесь, что он открывается с кодом 200 OK.
Важно понимать
robots.txt управляет обходом, а не гарантирует удаление из поиска
Запрещают или разрешают обход путей. Названия путей чувствительны к регистру.
Сообщает полный адрес XML-карты сайта. Можно указать несколько файлов.
Это отдельный экспериментальный файл для описания сайта ИИ-системам. Его не добавляют внутрь robots.txt.
Инструкция
Как создать robots.txt для сайта
Генератор формирует базовую структуру файла, добавляет правила выбранной CMS и проверяет адреса. Итоговый набор ограничений необходимо сопоставить со структурой конкретного сайта.
- 01
Укажите адрес сайта и выберите универсальный шаблон или CMS.
- 02
Включите нужные ограничения, Sitemap и правила для параметров URL.
- 03
Скачайте robots.txt, загрузите его в корень сайта и проверьте доступность.
Вопросы и ответы
Что важно знать
Где должен находиться robots.txt?
В корне хоста по адресу вида https://example.ru/robots.txt. Файл должен называться именно robots.txt и возвращать код 200 OK.
Можно ли удалить страницу из поиска через robots.txt?
Запрет управляет обходом, но URL всё равно может появляться в результатах. Для удаления используют noindex или X-Robots-Tag, причём робот должен иметь возможность увидеть эту инструкцию.
Нужно ли добавлять llms.txt в robots.txt?
Нет. llms.txt — отдельный экспериментальный файл. Если вы решите его использовать, разместите его отдельно в корне сайта, а не внутри robots.txt.