Генератор robots.txt для сайта и популярных CMS
В AG Tools появился инструмент для подготовки базового файла robots.txt с готовыми правилами и адресом Sitemap.
Для каких задач он подходит
- создание универсального robots.txt онлайн;
- подготовка пресета для WordPress;
- подготовка пресета для 1С-Битрикс;
- добавление Sitemap и технических ограничений;
- проверка базовых ошибок перед публикацией.
Готовый файл нужно загрузить в корень сайта и проверить по адресу /robots.txt. Пресет является отправной точкой: перед публикацией его следует сопоставить со структурой конкретного проекта.