Выбирает робота, для которого действуют правила. Звёздочка означает всех совместимых роботов.
Шаблон для WordPress
robots.txt
для WordPress.
Получите базовый файл для WordPress, добавьте адрес Sitemap и скорректируйте правила с учётом плагинов и структуры сайта.
02
Проверьте адресГотовый файл
0 правил0 предупреждений
Куда загрузить файл
https://example.ru/robots.txtПоместите файл в корень сайта и убедитесь, что он открывается с кодом 200 OK.
Важно понимать
robots.txt управляет обходом, а не гарантирует удаление из поиска
Запрещают или разрешают обход путей. Названия путей чувствительны к регистру.
Сообщает полный адрес XML-карты сайта. Можно указать несколько файлов.
Это отдельный экспериментальный файл для описания сайта ИИ-системам. Его не добавляют внутрь robots.txt.
Инструкция
Как подготовить robots.txt для WordPress
Пресет закрывает административные и служебные точки входа, сохраняя доступ к admin-ajax.php. Он не блокирует темы, плагины и изображения, необходимые для отображения страниц.
- 01
Укажите домен WordPress-сайта и проверьте выбранный пресет.
- 02
Добавьте собственные технические разделы и адрес Sitemap, создаваемый CMS или SEO-плагином.
- 03
Проверьте, что важные страницы и ресурсы не закрыты, затем загрузите файл в корень сайта.
Вопросы и ответы
Что важно знать
Какой Sitemap используется в WordPress?
Встроенная карта обычно доступна по /wp-sitemap.xml, а SEO-плагины могут создавать /sitemap_index.xml. Укажите фактический адрес своего сайта.
Нужно ли закрывать wp-content?
Обычно нет: в нём находятся стили, скрипты и изображения, необходимые роботам для корректного отображения страниц.
WordPress уже создаёт виртуальный robots.txt — что делать?
Проверьте адрес /robots.txt. Физический файл в корне обычно имеет приоритет, однако поведение может зависеть от сервера и плагинов.