Как узнать страницу сайта, закрытую от индексации в интернете?

Есть такой замечательный файл - robots.txt, который может находится в корне доменой папки и доступен по адресу (www.)sitename.domain/robots.txt В этом файле указываются разрешения поисковому роботу (User-agent) Disallow: путь, запрещённый для индексации. И робот понимает: можно индексировать всё, что не запрещено. Можно разным поисковым роботам запрещать разные части сайта.

Пример robots.txt с www.bolshoyvopros.ru