https://ja.m.wikipedia.org/wiki/Y%E6%9F%93%E8%89%B2%E4%BD%93
ヒトのY染色体上の遺伝子数はX染色体上の遺伝子の10分の1から5分の1程度しかなく、生存に必須の遺伝子はない（もしあればXX型の女性は生存できなくなるので当然なんだけど）。
性決定に関与してるのはSRY遺伝子のみで、これがX染色体に転座することでXX型かつ「身体的に男性」の人が生まれることから、いわゆる男性的な身体的特徴は必ずしもY染色体に依存していないことが分かる。

この辺の話を追っていくと、「身体的に男性」というカテゴリーはあくまで便宜上のものでしかなく、厳密な定義は困難（かつ、あまり意味がない）という結論というか感想になるのよね。