Не хочу жить с его мамой. Что делать?

Живем с мужчиной в гражданском браке. Мы собрались переезжать в другой город в связи с его работой, в этом же городе живет его брат. И мама его соответственно собирается через некоторое время переехать в этот же город аргументируя это тем, что "Семья должна быть вместе". Хотя свой дом у неё есть, в котором она могла бы жить. Я у него вчера прямо спросила "А где собирается жить твоя мама когда приедет в этот город? Вы хотите жить вместе?" Конечно же с старшим сыном она жить не будет, так как у него жена и двое детей, ей просто некуда в их квартиру тулиться, одной квартиру снимать дорого, соответственно она заявит о том, что нам надо снимать квартиру вместе. А мой-то отказать матери не сможет и оставить её одну. Сказал что еще не знает, со временем видно будет. Думаю что все он уже знает, точнее с мамой решил, а мне так сказал просто что бы не ссориться по этому поводу. Сказала ему сразу, что втроем с мамой мы жить не будем, либо он живет только со мной, либо он живет только с мамой. Я не хочу его так перед выбором ставить, но жить вместе мы не сможем, я хочу чувствовать себя дома, а не жить в гостях у его мамы, ведь хозяйкой дома станет сразу она. Скажите, возможно я не права? Или может я преувеличиваю? Просто очень беспокоюсь по этому поводу, ведь вместе с ней жизни мне не будет, она везде сует свои нос и диктует свои правила.