Файл robots.txt — это инструкция, написанная для алгоритмов поисковых систем, и представляет из себя текстовый документ, который можно создать в встроенном редакторе Windows. Файл размещается в корневом каталоге сайта и направлен на поисковых роботов, которые сканируют сайт для результатов выдачи.

Основные функции

Главная функция файла — запрет на индексацию определенных участков сайта. Это могут быть отдельные разделы, страницы или размещенные на них файлы. Robots.txt важен для сохранения хороших SEO-показателей, так как это прямая инструкция для поисковых алгоритмов о том, как сканировать данный сайт. 

Важно запретить ботам индексацию страниц, которые повторяются, а также содержат неуникальный или некачественный контент. Попадание в индекс некачественных страниц может косвенно повлиять на снижение позиции сайта в целом.

Преимущество этого файла в том, что он представляет из себя общий стандарт, который поддерживается всеми крупными интернет-поисковиками. То-есть алгоритмы Google, Yandex и прочих систем одинакового выполняют прописанные в robots.txt команды.

Как составить?

Для создания файла подойдет блокнот windows или любой другой текстовый редактор, который поддерживают работу с txt-форматом. Последовательность действий выглядит следующим образом:

1. создание документа с названием «robots.txt»;
2. запись инструкций в виде установленных команд (allow, disallow, sitemap и т. д.);
3. загрузка файла в «корень» сайта (через консоль или программу для передачи файлов FTP);

Следует помнить, что размер документа не должен превышать 500 Килобайт. Робот сможет считать информацию из директивы только в том случае, если файл загружен в корневой каталог. 

Существует облегченный вариант, который не требует знания основных команд. Онлайн-инструменты для создания robots.txt позволяют отключить индексацию нужных страниц, просто указав ссылки на эти разделы и путь к sitemap в специальное поле. Вручную можно отрегулировать параметры timeout (время интервала в секундах, с которым бот переходит по страницам).