Как решать уравнения с двумя переменными …?

Уравнение типа такого

x^2+5y^2+4xy+2y+1 = 0

Задает какую-то фигуру второго порядка - окружность, эллипс, гиперболу или параболу.

Чтобы понять, какую именно фигуру, нужно избавиться от слагаемого xy. Это делается заменой

x = x'*cos a - y'*sin a

y = x'*sin a + y'*cos a

Здесь а - это угол поворота осей координат.

Получаем

(x'*cos a - y'*sin a)^2 + 5(x'*sin a + y'*cos a)^2 + 4(x'*cos a - y'*sin a)(x'*sin a + y'*cos a) + 2(x'*sin a + y'*cos a) + 1 = 0

Раскрываем скобки, потом выделяем слагаемые x'*y' и приравниваем коэффициент к 0.

Отсюда находим угол а и подставляем его во всё уравнение.

Получаем одно из таких 5 уравнений:

1) A(x' - x0)^2 + A(y' - y0)^2 = С. Заметьте, перед x' и y' одинаковые коэффициенты А. Это окружность.

2) A(x' - x0)^2 + B(y' - y0)^2 = С. Перед x' и y' коэффициенты разные. Это эллипс.

3) A(x' - x0)^2 - B(y' - y0)^2 = С =/= 0. Это гипербола.

4) A(x' - x0)^2 - By' = 0 ИЛИ Ax' - B(y' - y0)^2 = 0. Только одна переменная в квадрате. Это парабола.

5) A(x' - x0)^2 ± B(y' - y0)^2 = 0. Это одна точка (x0, y0), независимо от знака - плюс или минус.

Если получится что-то другое, то это мнимая фигура, которая решений не имеет.

Но я подозреваю, что тебе нужно совершенно другое, а именно - целые пары решений уравнения.

Это делается совершенно другими методами, погугли "диофантовы уравнения".