Поисковые роботы - это специальные программы, которые регулярно мониторят сервера, на которых расположены веб-сайты. Их цель - переписать полностью или частично текст веб-страницы, заметить обновления, проверить на вредоносные скрипты, выявить дублированный контент, для того чтобы проранжировать их и сформировать выдачу в поисковой системе.
Это программы, которые написаны специально для прохождения по ссылкам на сайтах и скачивания контента с этих сайтов с целью занесения в поисковый индекс и далее вывода полученной ранжированной информации.
Добавить комментарий