Почему пара хромосом, отвечающих за пол, только XX или XY? Где остальные?

Отвечает за пол не пара хромосом, а только одна. Гамета (спермий или яйцеклетка), передающая наследственную информацию при половом размножении, имеет гаплоидный набор хромосом.

При этом яйцеклетка несёт в себе только Х-хромосому, а спермий может нести или Х или У-хромосому. Речь идёт об обычных, не мутировавших гаметах.

А зигота не всегда содержит пару хромосом, часто встречается и трисомия, реже - полисомия. И только по отсутствию или наличию в организме У-хромосомы организм относят (или не относят) к мужскому полу. Внешние половые признаки у тех же ХХУ могут быть различны.