Судить по себе - всегда это правильно? Почему люди судят по себе?

Например. Какое-то событие. Найдутся люди, которые припишут тебе то, чего у тебя и в мыслях не было. Мало того, они ещё в этом точно уверены и всем расскажут, что именно поэтому ты так и поступил. В жизни или в том же интернете, привяжется какое-нибудь хамло. Ты не хочешь его питать своими эмоциями; очень плохо себя чувствуешь, тебе вообще не до разговоров; понимаешь, что ты этому человеку всё равно ничего не докажешь, раз он упёрся рогом и стоит на своём, поэтому и смысла нет развивать диалог. Но человек этот считает, что у тебя просто нет аргументов и он победил тебя (такой умный) в этой неравной борьбе. . Почему люди судят только по себе? Им не хватает фантазии? Или они точно уверены, что может быть только так, как они себе представляют?