派遣会社の責任？それとも派遣社員の責任？

先日、派遣会社から紹介してもらっていた会社を派遣社員の自己都合により終わらせて戻ったのですが、（この辞める話はキチンと派遣会社に連絡しOK貰ってる）紹介会社から「早く出勤しろ」と電話あり、その際終わった事を伝えたとの事でした。その後、どうやら派遣会社に向けて紹介会社から損害賠償問題に発展しそうだと泣きつかれてきたのですが、派遣社員としてはキチンと終了だとお願いし派遣会社も納得した上での行動。派遣社員には非がないと思いますが、こういったケースにおけて損害賠償だと話が持ち上がることは普通なのでしょうか？
現状的には、派遣社員に対して賠償しろとは話には出てませんが、もし発展した場合はどうしたらいいでしょうか？