Robots.txt — что это и кому он нужен и зачем?
Ответов: 2
В принципе не нужен никому, кто не занимается сайтостроением. Ну а тем, кто столкнулся все же - обязательно встретится этот файл. Нужен он для того, чтобы объяснить поисковикам - какие файлы индексировать, а какие нет. Кстати, недвано столкнулась, что в WordPress, если обозначить страницу как черновик, не указав дополнительные значения в robot.txt, индексация все равно происходит. Так что не обойтись без роботс даже на готовых движках.
Это текстовый файл, который должен храниться в главной директории сайта (в корневом каталоге). В нём пишутся различные инструкции. Эти инструкции предназначены для поисковых роботов, индексирующих сайт. В этих инструкциях прописывают что не индексировать и где хранится файл Sitemap, содержащий информацию о том, какие есть у этого сайта вебстраницы.
Похожие вопросы
Добавить комментарий