去年10月22邮政银行的业务员上门来问我做贷款，10万帖息的贷款，然后要我买了一个5年一年一万的终身寿险说做资产证明，当时说的是贷款下来这个一万可以退的，说一个月左右能下，然后各种理由借口拖到了今年10月，最近我催急了跟我说贷款做不了，我要求退这个一万的保险，业务员说给我退，然后又拖了我一个月，前几天打电话我爸听见了就结过电话骂了那个业务员几句，现在她说让我自己去退，然后退回的钱差多少她补给我，当时做这个贷款买保险的时候没有任何协议，只有一个保险电话给我确认，请问这个钱能要回来吗？