我在上海上班，公司合同签署的工作地址是上海，在22年9月份左右因为疫情原因大家都居家办公，当时也想乘此机会辞掉工作返回老家呼和浩特市，与负责部门的盛老板提出此想法后，盛老板建议我可以远程支持工作，线上办公。在24年10月份之后，盛老板因家里原因离开了公司，后面就与领导及HR口头协商定好，每个季度去一次上海去面见客户，所有差旅费自费的方式一直维持至今。现在遇到了公司人员变动，我想继续保持这种工作方式，但是担心公司以合同base地址是上海胁迫我返回上海，如不返回是否公司会以我旷工等理由可以直接解除劳工合同？如果在这种情况下，公司要求我返回上海上班，我拒绝了，会有什么后果？如果因为拒绝返回上海上班，