給料と有給休暇

2012年7月から契約社員になり、翌年1月から有給休暇を10日貰いました。その後も更新時に有給休暇を貰って来ましたが、本日後任の方から連絡があり、あなたは1月から有給休暇が発生してるのだから、給料を貰いすぎだとの連絡でした。前任者からは更新時からの(8月)有給休暇取得で構わないと言われておりましたので、私が給料計算をして自分で計算しておりましたが、このやり方が間違っていたのでしょうか？昨年8月に契約更新して、9月に辞めたのですが、その時の有給休暇の残りを支払って貰いましたが、後任の方から、過払い金だから、返金してくれと言われましたが、私の処理に間違いがあるのでしょうか。
会社によって考え方が違うのかも知れませんが、後任の方の言い分が正しいのですか。もし、返金するとなると私は犯罪者になるのですか