Как исторически объяснить появление исключений замуж, невтерпеж?

Это исключения, пишутся без мягкого знака исторически.

Эти наречия произошли от существительных муж, терпеж которые относятся ко второму склонению и пишутся без мягкого знака.

Эти наречия оканчиваются на звук [ш], который всегда был твёрдым.

Эти наречия раньше писались с мягким знаком, но в результате реформы графики 1915–1918 гг. мягкий знак на конце этих слов перестал употребляться.