Раздражает увлечение мужа, как быть?

Подскажите, как прийти к компромиссу? У нас есть ребенок. Ему 1.7. Постоянно с ребенком. Мой муж очень любит рыбалку и охоту.Если есть свободная минута мчится на рыбалку. просто когда я хочу пойти на каток или просто отдохнуть он меня не пускает. А сам на рыбалку. Где тут справедливость. Знаете у меня уже дошло до того, что как слышу слово рыбалка меня трясти начинает и внутри такое раздражение. Хочется выходные провести с семьей, а он говорит я на рыбалку и в итоге скандал. Подскажите как быть, просто сил уже нет?