您好，我母亲去世前和我父亲利用老房拆迁款买了一套100平房的二手安置房，现在父亲健在。前期无法办理产证，后期可以办理的时候不动产证登记在我夫妻二人名下，现在父亲另找老伴（在此之前在我母亲去世不到一年与本单元一有夫之妇长期保持不正当两性关系三年多，该女性四十多岁我父亲六十多岁）我们表示理解和支持并且考虑老人也需要独立生活空间我们已经搬离该套住房但是老人担心以后住的没有保障想将房产要回，在我们共同居住期间我们夫妻二人没有任何不孝之举，我们一直在赡养老人，请问高老师我父亲的要求在法律层面可以要回房产吗？