Если физически влечет к сотруднику?

Разумный выход из ситуации даже "близко" не начинать никаких романтических отношений и не провоцировать давая надежду, что все возможно (ни да, ни нет). Постепенно флирт либо сам по себе отвалится, либо останетесь в хороших приятельских отношениях, просто как коллеги и не более того.

Но если уж очень щемит, конечно можно оправдаться типа "один раз не ....", "не убудет" и т. д. Но при этом просчитайте варианты последующего исхода такой романтики:

1. Вам не понравится он, как мужчина, а он будет в восторге. Будете искать пятый угол.
2. Вам понравится он как мужчина, а он добился своего и на этом все. Не очень приятно, и даже мучительно больно.
3. Влюбитесь окончательно оба. Но у обоих есть семьи, которыми Вы, насколько можно судить дорожите. Спрашивается, дальше что? ....
4. Вы пребывая в эйфории возможно в начале отношений, будете спокойно реагировать на его телефонные разговоры с женой (мужем). А потом появится грызущая ревность, которая тоже не добавит изюминки в Вашу романтику, а совсем наоборот.
5. Всевидящие коллеги. Которые даже если и узнаю всего, то частично могут догадаться и как следствие сплетни со всеми вытекающими.
6. Романтика быстро уходит, так как она не вечна. Не спорю остаться любовникам в последующем друзьями можно, но не все на это способны.

В общем продолжать можно если не бесконечно, то достаточно долго.

Так стоит ли оно того.

Находясь на одной работе, да еще будучи семейными, однозначно не стоит. Лучше обратите всю свою романтику на свою половинку.

Ну а если уж и очень сильно захочется "подгульнуть", то делайте это на стороне, а не на работе.