Выбирает робота, для которого действуют правила. Звёздочка означает всех совместимых роботов.
Создание файла онлайн
Создать robots.txt.
И скачать файл.
Заполните настройки сайта, проверьте готовые директивы и скачайте robots.txt для загрузки в корневой каталог.
02
Проверьте адресГотовый файл
0 правил0 предупреждений
Куда загрузить файл
https://example.ru/robots.txtПоместите файл в корень сайта и убедитесь, что он открывается с кодом 200 OK.
Важно понимать
robots.txt управляет обходом, а не гарантирует удаление из поиска
Запрещают или разрешают обход путей. Названия путей чувствительны к регистру.
Сообщает полный адрес XML-карты сайта. Можно указать несколько файлов.
Это отдельный экспериментальный файл для описания сайта ИИ-системам. Его не добавляют внутрь robots.txt.
Инструкция
Как создать файл robots.txt онлайн
Инструмент подходит для статических сайтов, конструкторов и самописных CMS. Он создаёт текстовый файл UTF-8 без дополнительных программ.
- 01
Введите полный адрес сайта и выберите необходимые ограничения.
- 02
Просмотрите готовый текст и исправьте предупреждения.
- 03
Скачайте robots.txt и загрузите его по адресу /robots.txt.
Вопросы и ответы
Что важно знать
Как создать robots.txt, разрешающий весь сайт?
Оставьте пустую директиву Disallow и добавьте Sitemap. Отсутствие запретов также означает, что обход разрешён.
Можно ли указать несколько Sitemap?
Стандарт допускает несколько строк Sitemap. В текущей версии дополнительный адрес можно добавить после скачивания файла вручную.
Как проверить готовый файл?
Откройте /robots.txt в браузере, проверьте ответ 200 OK и используйте отчёты robots.txt в Яндекс Вебмастере и Google Search Console.