Что такое робот поисковой системы, какие бывают индексирующие роботы?

Я когда только подключил интернет и узнал такие понятия, как Mozilla FireFox и поисковые роботы, у меня начали в голове возникать разные фантазии.

Mozilla - это что-то среднее между машиной Маз и верзилой. То есть великан-робот с головой похожей на кабину Маза. Такое понятие, как "поисковые роботы", добавило в эту фантазийную картину ещё то, что поисковые роботы - это роботы постапокалиптического будущего. Некие огромные роботы, которые ходят по городу и ищут нарушителей. Например какой-нибудь хакер взломал какой-нибудь важный сайт, об этом узнали правоохранители и на поиски этого хакера отправляется огромный поисковый робот с головой от машины "Маз". По IP робот вычисляет адрес нарушителя и направляется к нему, чтобы его уничтожить. Возможно когда-нибудь в будущем в какой-нибудь неблагополучной стране так и будет...

Но это всё шутки. А если серьёзно, у поисковых систем есть разные виды роботов.

1 Роботы, ответственные за индексацию и за переиндексацию сайтов. Они время от времени смотрят, не появилось ли на сайте новенького контента. И если появился, добавляют его в поиск.

2 Роботы, ответственные за порядок. Они тоже время от времени анализируют проиндексированные сайты. Они проверяют, не появились ли на страницах сайта вирусы. Также анализируют, не пытается ли кто-то пролезть в топ платными ссылками. И если обнаружат, могут пессимизировать, что ударит по трафику сайта.

У каждого поисковика свои роботы, со схожими, но всё же отличающимися алгоритмами.

есть быстрый робот, который отвечает за первичные обходы и обнаружение страниц, он проходит по всем ссылкам странице и карте сайта

чуть позже идет робот, который отвечает за качество контента на странице, его уникальность, оригинальность и насыщенность контентом.

ну это немногое, что известно "массам" )