Стоит игнорировать реплики не в твой адрес, но в твоем присутствии?

Это зависит от много, во первых в чью сторону произнесены эти реплики, в сторону ваших друзей, или абсолютно посторонних людей, или тех, до кого вам вааще нет дела... Хотя, хотя, всегда есть смысл реагировать на такие реплики, потому что это как минимум уже идут сплетни, поэтому лучше сразу ограждать от себя все эти сплетни и плавно намекнуть чтобы выступающий это сказал лично тому, кому они адресованы...