Почему людей нетрадиционной ориентации в разговоре разделяют по цветам?

Мальчиков в детстве принято одевать в голубой цвет,а девочек в розовый.Почему тогда девушки нетрадиционной сексуальной ориентации,в разговорной речи "розовые",а мужчины "голубые"?Из-за цвета одежек в детстве?