Файл robots.txt — это инструкция, написанная для алгоритмов поисковых систем, и представляет из себя текстовый документ, который можно создать в встроенном редакторе Windows. Файл размещается в корневом каталоге сайта и направлен на поисковых роботов, которые сканируют сайт для результатов выдачи.
Главная функция файла — запрет на индексацию определенных участков сайта. Это могут быть отдельные разделы, страницы или размещенные на них файлы. Robots.txt важен для сохранения хороших SEO-показателей, так как это прямая инструкция для поисковых алгоритмов о том, как сканировать данный сайт.
Важно запретить ботам индексацию страниц, которые повторяются, а также содержат неуникальный или некачественный контент. Попадание в индекс некачественных страниц может косвенно повлиять на снижение позиции сайта в целом.
Преимущество этого файла в том, что он представляет из себя общий стандарт, который поддерживается всеми крупными интернет-поисковиками. То-есть алгоритмы Google, Yandex и прочих систем одинакового выполняют прописанные в robots.txt команды.
Для создания файла подойдет блокнот windows или любой другой текстовый редактор, который поддерживают работу с txt-форматом. Последовательность действий выглядит следующим образом:
Следует помнить, что размер документа не должен превышать 500 Килобайт. Робот сможет считать информацию из директивы только в том случае, если файл загружен в корневой каталог.
Существует облегченный вариант, который не требует знания основных команд. Онлайн-инструменты для создания robots.txt позволяют отключить индексацию нужных страниц, просто указав ссылки на эти разделы и путь к sitemap в специальное поле. Вручную можно отрегулировать параметры timeout (время интервала в секундах, с которым бот переходит по страницам).
