MS SQL Server. Как узнать, используется ли индекс при выполнении запроса?

Необходимо посмотреть план выполнения запроса.

"какую конкретно иконку нажать" - зависит от того, какую клиентскую программу вы используете.

В любом случае, об использовании индекса будет говориться строка в плане выполнения "index scan".

Кстати, в данном случае есть интересный момент, связанный с составными первичными ключами (которые в MS SQL по умолчанию являются кластерными). Если вы выполняете запрос с объединением с другой таблицей по одному из полей ключа, то желательно создавать в таблице отдельный не уникальный индекс для данного поля, т.к. план выполнения как раз покажет, что при выборке части данных по данному полю будет использоваться этот дополнительный индекс.