女方在婚前购入三套房。一套已于婚前全部还完贷款。另外两套仍有贷款。男方于结婚前给女方10万彩礼，10万装修款。后又给女方卡上打入50万，说用于夫妻生活以及房子还贷。但很快趁女方睡觉用女方手机偷偷把50万转回个人名下。婚后男方从未工作，没有收入，靠女方养家，也未支付过任何房贷，两年后办理离婚手续。协议签署没有共同债权以及债务，婚前房子归房产证上个人所有。离婚后男方由于没地方住，女方无偿提供其中一套房子让男方暂住。分居期间以及离婚后男方多次从女方户头（因为婚姻期间男方手机绑定女方网银，且知道女方密码）转走近五万元。由于女方要卖房要求男方腾房，现男方不愿搬离住所，要求女方支付20万。请问如何解决？