Почему муж периодически напоминает о моем прошлом?

Дайте пожалуйста совет. Как поступить если муж хочет расстаться из за моего прошлого. Мы вместе уже лет 8, у нас двое детей. Я соглашусь с тем что до него у меня была бурная молодая жизнь, но почему живя со мной он ведет себя нормально, а как уезжает в командировки, то постоянно ссоримся из за того что было у меня до него? Сегодня он вообще сказал, что мы расстаемся! Детей он не бросит, но со мной жить не хочет. Не хочет быть верен мне. Разве семейная жизнь не дороже дальнего прошлого? У кого была такая проблема?