InformatikUrok

Как создать файл robots.txt и закачать его на сервер

Сегодня я решала вопрос как создать файл robots.txt и закачать его в папку на сервер. Точнее сказать, я не создавала, а подправляла уже имеющийся файл robots.txt.

Алгоритм работы:

1. Открыла готовый файл, скачанный с сервера школы СтартАп и разархивиронный в текущую директорию, с помощью текстового редактора Блокнот.
2. Внесла необходимые исправления в последние строки, указав название своего сайта. Будьте внимательны: записываем только название сайта, а не весь путь к нему!!!
3. Открыла ПУ сайтом, чтобы разместить данный файл в папке public_html. Чтобы закачать файл необходимо воспользоваться Файловым менеджером. И вот тут меня ждала приятная неожиданность: сайтов у меня три - два тестовых и один основной на домене informatik.ru. Передо мной возник вопрос: где данная папка, в которую размещать файл? Обратившись в службу поддержи хостинга, я выяснила, что  если несколько сайтов на одном домене, например, test1.informatik.ru и test2.informatik.ru и informatik.ru, то папка public_html для informatik.ru лежит в корне каталога, а чтобы открыть папку public_html для test1.informatik.ru, необходимо открыть одноименный каталог (test1.informatik.ru) и найти в нем интересующую папку. Далее дело техники: закачала и пользуюсь. Кстати, если не хотите использовать Файловый менеджер ПУА, то написав письмо в службу поддержки, получите имя ftp - сервера ПУА и ip - адрес  для закачки с помощью, например, FileZilla.

Все это хорошо, когда есть готовый файл. А что делать, если его нет? Если бы мне нужно было создать файл robots.txt с нуля, то воспользовалась бы материалом статьи:http://robotstxt.org.ru/robotsexclusion/guide, где подробно расписано какие строчки кода нужно писать в этот файл и, самое главное, что они означают, и нужны ли они вообще нашему сайту. Так что, если Вы не студент  школы СтарАп и Вам необходимо создать данный файл для индесации своего сайта, читайте это руководство и используйте его в работе.

Не хочется писать скучную теорию, вроде,  "файл robots.txt - это текстовый файл, находящийся в корневой директории сайта, в котором записываются ...", а хочется все-таки разобраться, что это за файл и зачем он нужен. Прочтя несколько статей, и прослушав курс СтартАп, я определила для себя, что этот файл  выдает специальные инструкции поисковым роботам:

1. какие страницы нужно про индексировать;
2. какие страницы или разделы запрещены для индексации;
3. если есть "зеркала сайта" (та же страница, но по другому адресу), то указывают, где правильный домен.

Не все поисковики одинаково хорошо реагируют на файл robots.txt. Для google.ru   данный файл не имеет значения, а вот для yandex.ru он просто необходим. Хотя кто знает... Ведь алгоритмы поисковых систем меняются, и, может, завтра этот файл будет излишним, но сегодня все-таки сделаем его, разместим в своей папке один раз и пока забудем о нем.

Вернуться на на главную страницу.