Файл robots.txt — это текстовый файл, помещенный в корень вашего сайта или блога, содержащий инструкции для ботов.
Когда бот приходит на сайт, он ищет файл robots.txt. Если он отсутствует, бот собирает информацию обо всех файлах сайта. Поэтому информацию, которую вы хотите скрыть от ботов, нужно обозначать в robots.txt.
Как создать файл robots.txt?
Вам понадобится:
1. Простой текстовый редактор.
Что-то вроде Блокнота (который есть в Windows) или Notepad ++.
- Новая папка.
Вам также понадобится дополнительная папка на вашем компьютере, чтоб сохранить этот файл, пока вы не закончите его редактирование.
- Резервная копия сайта.
У вас есть резервная копия сайта? Если нет, создайте ее! Используйте программное обеспечение FTP для резервного копирования вашего веб-ресурса.
Чтоб создать файл robots.txt, необходимо выполнить несколько простых действий:
- Открыть любой текстовый редактор.
- Создать новый файл в формате txt.
- Указать в поле “Имя файла” — robots.txt .
- Нажать “Сохранить”.
- Используя программное обеспечение FTP (или функцию веб-хостинга File Manager), добавить в корневой каталог вашего сайта/блога файл robots.txt.
Корень сайта — это папка, содержащая все файлы вашего сайта.
- Проверить, что вы добавили файл robots.txt в куда нужно.
Откройте браузер и наберите http://www.yourdomainname.com/robots.txt. Если вы увидите содержимое созданного файла, все сделано правильно.
Тестирование файла robots.txt
Создав файл robots.txt, его нужно проверить на наличие ошибок. Например, это можно сделать с помощью инструмента тестирования Checker Robots.txt.
Введите веб-адрес вашего файла robots.txt в появившемся окне, а затем нажмите кнопку Проверить robots.txt ниже. В верхней части страницы вы увидите, есть ли у вас ошибки. В результатах также указывается, какая именно строка неверна.