Через какой модальный глагол в англ. яз. можно сказать «зря…»?

Я сомневаюсь, но возможно через should not:

He shouldn't have done this (буквальный перевод "Не стоило ему это делать", но "Зря он это сделал" тоже подходит)

Через модальные глаголы should или ought to. Если после них поставить инфинитив, то получится совет, а если have c третьей формой, то "совет задним числом", сожаление или упрёк. Это как раз Ваш случай.

С should это будет выглядеть так:

You should have done it. - Ты должен был это сделать. (Зря ты это не сделал. Жаль, что ты это не сделал.)

You should not have done it. - Ты не должен был это делать. (Зря ты это сделал. Жаль, что ты это не сделал.)

С ought to это образуется так:

You ought to have done it.

You ought not to have done it.

В принципе, should и ought to в данном контексте взаимозаменяемы. Правда, у ought to иногда есть такой оттенок значения, как моральный долг и обязанность:

You ought to have helped her. - Зря ты ей не помог (а по совести надо было).