В какой формат перевести mov-файл для максимального уменьшения размера?

Самое лучшее "уплотнение" видео при малом размере и удовлетворительном качестве даёт конвертация в формат .mp4 кодеком h.264. Звуковая дорожка конвертируется в формат ААС, он лучше "упаковывает" звук при минимальном битрейде, чем .mp3 или .ac3

Размер видео-файла будет зависеть от величины битрейда, которая в свою очередь подбирается в зависимости от разрешения видео. Например, видео с разрешением 1280х720, можно сжать до 10 Мбайт на каждую минуту, при сравнительно хорошем качестве.

Ещё более качественное видео при минимальном размере даёт самый новый кодек h.265, он же ещё называется HEVC. Это сверхплотный алгоритм кодирования видео, разработан недавно специально для видео с разрешением UltraHD - 3840х2160. Правда для воспроизведения видео в формате HEVC на компьютере нужен мощный, топовый процессор и солидная видеокарта.