社員会会費について

当社では社員会会費を給料天引きにて徴収されています。
目的は、社員旅行・慶弔関係・忘年会費等なのですが、
10人程度の小さい会社なので、慶弔費は一年に一度出るか出ないかです。
忘年会は毎年行われていますが、ここ二・三年社員旅行は
行っておりません。
徴収は毎月3,000千円で、一年で36,000円になります。
忘年会で使用したとはいえ、一人一万円ぐらいで済んでいると思われます。
以前担当者に返金について聞いてみると、社員会規定によって、退職時等の返金はしないとの事でした。
本来の目的の為に使われていないのに、規定だからと言って
返してもらえないのはおかしな話だな。。。
と私は思っているのですが、みなさんはどう思いますか？
また法的に問題はないのでしょうか？
規定で決められている事だから仕方がない。。という結論でしたら、諦めようとは思いますが、
なんかひっかかってしまっていて。。。
以前からの分を含め、今現在一人辺り10万円位の積立があるようです。
どなたか教えていただければと思います。
よろしくお願い致します。