障害者からの応募

障害者の方への対応で質問です
インターネットでパート・アルバイトの募集をしているのですが、
聴覚障害者と思われる方から応募がありました。

明確に聴覚障害という記述はありませんでしたが、ろう学校卒で耳が聞こえにくいので
メールで返事をくださいとのことでした。

仕事内容は簡単な物ですが、機械でする作業ばかりで耳がきこえないと危険な場合もあり
事故が心配なので、面接をお断りしたいのですが
障害を理由にお断りをするとやはり問題がありますか？

どのようにお断りするのがいいかアドバイスをいただけたらを思います