Какой формат изображений позволяет передать наиболее плавный переход тонов?

Из четырёх перечисленных в описании вопроса форматов, для плавного перехода цветов хорошо подойдёт BMP, а вот формат GIF для такого дела совершенно не годится, в этом формате используется только 256 цветов.

Если изображение не подвергать сильной компрессии, тогда и формат JPG хорошо передаёт плавные переходы цветов, ещё лучше задать в фоторедакторе режим 16 бит на каждый канал цветности вместо 8, тогда цветовые переходы будут плавней. Но сохранить картинку в формате JPG с 16 бит на канал не получится. Для этого нужен формат TIFF, кстати говоря, этот формат используют фотографы-профессионалы, потому как он позволяет передать наиболее плавные цветовые переходы.

Формат CMYK, это вариант преобразования изображения из привычного режима цветности RGB в четыре канала для принтеров. Этот формат используется для подготовки изображений к распечатке на бумаге, но поскольку сейчас все современные принтеры автоматически переводят изображение из RGB в CMYK, то особой необходимости в таком формате нет. Но когда хочется тщательно проработать картинку именно для распечатки на бумаге, тогда лучше работать в таком формате.