賃金台帳の作成法で知恵を貸してください！

長文で失礼いたします。
最近働き始めた会社は、様々な資料や体制が不十分です。
賃金台帳がありません。。離職票を発行する度に、一年分遡って給与明細を見て作成しています。
今は退職者が月1～2人なのでまだ何とかなりますが、この先、年次作業と退職者が多い月が重なったらやってられません。

そこで皆さんにご相談したいです。
自分で賃金台帳を作成しようと思いますが、
どのように作成すれば効率的だと思いますか？
環境は、毎月の給与データはCSVと紙ベースであります。
給与システムで賃金台帳的なものや、個人別の集計が作成される機能はありません。(大変不便なシステムです。。。）
ちなみに従業員数は170名前後です。


やはり、離職票や退職者の源泉票が必要な時に、
過去に毎月分をさかのぼって作るしかありませんかね。。

170名もいるのに、こういった環境の会社は初めてで、
更に前任者もすでに辞めていて、上司と私だけで実務は自分一人で行っています。めちゃくちゃな状態なのに、日々の業務をこなすのが精一杯でいいアイデアが思いつきません！

何かアドバイスいただけたら助かります！！
皆さんの会社ではどのように管理されてますか？
給与ソフト等で管理出来るようになってますよね？
私も今までは給与ソフト頼みでした。
どうぞよろしくお願いします。