Останется ли равновесие под водой?

Нет! Дело в том, что при погужении гвоздей и гирь в воду на них будет действовать архимедова сила, а она определяется объемом тела, которое находится в воде. Гвозди и гири имеют различный удельный вес и разный объем. Кстати, в гирях имеются отверстия, в которых находится сплав свинца для установки точного веса, свинец тяжелее стали и чугуна, поэтому гиря при равном весе с гвоздями имеет меньший объем, на нее действует меньшая архимедова сила, поэтому гиря перевесит.

Все зависит от того, чем именно уравновесили гвозди на весах. Если гирями из той же марки стали, что и гвозди, то равновесие не изменится. Если уравновесили свинцом или алюминием (бывают алюминиевые разновесы) - изменится (в разные стороны).