健康診断結果管理は男性・女性？

変なことを聞いているかもしれませんが、皆さんのご意見をお聞かせ下さい。

今現在従業員の健康診断の結果は総務の女性社員によって管理等行っています。

再検査が必要な従業員には口頭で再検査を受けるよう指示しています。ただし受けたかどうかまでは管理していません。

今社内で再検査について議論が起きています。
それに伴い、診断結果の管理及び再検査の洗い出し等を
男性である総務課長にしようという動きがあります。

はっきり言って男性に健康診断の結果を見られるのはとてもいやです。

私としたら今まで通り女子社員による管理で必要事項を課長に通達でいいと思うのですが、
男性社員に見られるのを拒否することはいけないでしょうか？

これは本当にわがままかも知れませんが、信頼関係も築けて以内人に個人情報（ましてや体の情報）を見られたくないのです。

よろしければ、皆さんのご意見をお聞かせ下さい。