Как правильно писать «в третьей главе» или «в третей главе»?

Правильный вариант - в третьей (главе). Это форма предложного падежа, единственного числа числительного "третий", где основа слова - все слово "третий". В формах "третьему", "третьей", "третью" и т.д. звук [й] ([j]) "спрятан" в йотированных буквах Е, Ё, Ю, Я, а указывает на него разделительный мягкий знак (именно указывает, а не обозначает!). Звук [и] чередуется с нулем звука. То есть буквально формы слова должны звучать так: третия, третию и т.д. (именно так и было в древнерусском языке), но [и] выпал.