Как определить угол между векторами?

Самое простое - измерить))). Но если вы знаете координаты векторов, то есть более точный способ: найти их скалярное произведение и разделить на модули векторов. То, что получится - косинус нужного угла. Если он отрицательный - вектора "расходятся" под тупым углом, положительный - под острым. Нулевой - перпендикулярны.

В декартовых координатах угол между векторами {x1,y1,z1} и {x2,y2,z2} равен

arccos((x1*x2+y1*y2+z1*z2)/корень((x1*x1+y1*y1+z1*z1)*(x2*x2+y2*y2+z2*z2)))

В иных системах координат немножко иначе, приводить все возможные формулы не буду.