Каким образом можно из картинки (jpg, png) сделать иконку в формате ico?

Открыть в любом просмотрщике графических файлов и сохранить с расширением ico.

Хорошо с этим справляется бесплатный IrfanView.

В отличие от других файлов изображений, формат ICO изначально имеет маску накладываемую на зданий план что позволяет реализовывать полную прозрачность рисунка, а также может содержит несколько изображений разных размеров, так что для того что-бы грамотно и качественно сделать значок просто перегнать в ICO из другого формата маловато, однако сам процесс создания ICO весьма прост и поможет в этом программка под названием "IcoFX", скачать программу и посмотреть описание как с ней можно работать можно на этом ресурсе.