Выбирает робота, для которого действуют правила. Звёздочка означает всех совместимых роботов.
Шаблон для 1С-Битрикс
robots.txt
для Битрикс.
Сформируйте базовый файл для 1С-Битрикс, добавьте Sitemap и настройте ограничения под компоненты и структуру проекта.
02
Проверьте адресГотовый файл
0 правил0 предупреждений
Куда загрузить файл
https://example.ru/robots.txtПоместите файл в корень сайта и убедитесь, что он открывается с кодом 200 OK.
Важно понимать
robots.txt управляет обходом, а не гарантирует удаление из поиска
Запрещают или разрешают обход путей. Названия путей чувствительны к регистру.
Сообщает полный адрес XML-карты сайта. Можно указать несколько файлов.
Это отдельный экспериментальный файл для описания сайта ИИ-системам. Его не добавляют внутрь robots.txt.
Инструкция
Как подготовить robots.txt для сайта на Битрикс
Пресет закрывает административные каталоги, кэш и служебные файлы. Каталог загрузок и публичные ресурсы намеренно не блокируются автоматически.
- 01
Укажите адрес сайта на 1С-Битрикс.
- 02
Проверьте технические каталоги, поиск, авторизацию и коммерческие разделы.
- 03
Добавьте фактический Sitemap, скачайте файл и протестируйте его в Яндекс Вебмастере.
Вопросы и ответы
Что важно знать
Можно ли использовать один шаблон для всех сайтов на Битрикс?
Нет. Решения, компоненты, ЧПУ и разделы магазина отличаются, поэтому пресет служит только безопасной отправной точкой.
Нужно ли закрывать весь каталог /bitrix/?
Такое правило может перекрыть ресурсы, необходимые для отображения страниц. Генератор закрывает только типовые административные и кэш-каталоги.
Где находится Sitemap в Битрикс?
Часто используется /sitemap.xml, но имя и набор файлов зависят от настроек модуля поиска и структуры проекта.