Муж хочет детей, а я нет. Как быть?

У меня есть ребёнок от первого брака. Сейчас я живу с другим мужем и он хочет ещё одного ребёнка. Я же наоборот даже слышать об этом не хочу. Я очень люблю своего мужа и объясняю ему, что на данный момент я о втором ребёнке не хочу даже думать. Он обижается и мы закрываем эту тему, но через время снова всплывает это вопрос и опять по замкнутому кругу - обиды, ссоры. Подскажите, как мне быть в этой ситуации?