Как жить с человеком. которого всё раздражает?

Как это не грустно, но скорее всего это начало конца Ваших с мужем отношений... По всей видимости у него уже либо кто-то есть на стороне, либо он оказался морально не готов к семейной жизни...

Если у Вас есть мама, которая на некоторое время согласилась бы взять к себе детей, отдайте их на некоторое время ей, но сама при этом не хлопочите вокруг раздраженного супруга, стремясь всячески его ублажить и успокоить, а займитесь собой! Пропадайте по вечерам в салонах красоты, в магазинах, у подруг, еще где-нибудь, уделяйте ему по минимуму внимания, при этом не объясняйте ему причину Вашего отсутствия дома... Если в его глазах при этом загорится хоть чуточка интереса тем, где Вы были, значит, еще не все потеряно... Ну, а если - нет, то смиритесь с тем, что "лучше голодать, чем что попало есть, и лучше быть одной, чем вместе с кем попало..." (Омар Хайям, Рубаи)

А вы от него сильно зависимы в материальном отношении? Если да, то терпите, ищите компромиссы. Если нет, то зачем вам это надо? Не общайтесь с ним, подключайте старших родственников, ищите выход для себя из создавшегося положения.