我几年前因生意资金周转困难去借了8万块高利贷分三次借，第一次3万每月还1500利息，第二次2万每月还1200利息，第三次3万每月还1800利息，还了两年几利息后被家里知道，家里人就向亲戚借了钱然后跟借款人协商再还了七万块的现金把借条拿回来了，同年年尾又周转不开又头脑发热跑去借了，那人就说上次减少的一万块要算进去，然后就又借了两次，第一次3万一个月1500利息加上次减少的一万一个月500利息，第二次2万一个月1200利息，这样每个月总3200利息又还了一年几，中间差不多半年因为记错每月还了3400利息，借款人也不肯退回多给的，现在还不起了，又怕他去家里闹，不知道怎么办