Муж ревнует к сыну женщины моего папы, что делать?

Мне 22 года, мужу 23.Живем отдельно от родителей. Дело в том, что моя мама умерла три года назад, сейчас папа живет с очень хорошей женщиной, мне она приятна, любит нашу дочь. У нее есть старшая дочь и младший сын ему 20, так вот мой муж постоянно меня ревнует к ее сыну. Ему 20 лет. Получается так, что живут они рядом в поселке и порой мы с дочей просто хотим съездить к моему отцу погостить, а муж устраивает скандал. Сегодня снова получилось так, приехал папа с женщиной и сын с ними, сказала мужу, что бы позже не всплыло и он не сказал, что я обманула. Муж на сессии. Он снова устроил скандал,я попыталась объяснить, что в данном случае обидно мне, потому что я считаю что это недоверие с его стороны ко мне, я что доступная такая... Живем вместе пять лет и ни разу я повода не дала. Вот, что мне делать если все снова повториться, как объяснить, что по сути он мне почти брат...