Как быть с ответом на БВ, если он не написан по теме вопроса?

Часто бывает так, что человек отвечает на вопрос совсем не по делу. Через какое то время вопрос набирает звезды и получается, что этот человек тоже получает с вопроса начисления. Считаю, что это не справедливо, но как поступить?