本人有一房子出租给了别人，刚开始的租住人是两人，签订的合同为先交三个月房租，后面是一年一交，而当时签该合同的人在三个月之内撤走了，留下了另外一个人继续续租，然三个月过去后他以不知道干多久的理由说一个月一个月一交或者两个月两个月交，我们也同意的，可是他并没有每个月按时给付房租，而是我们每次三催四催给点，直至今年5月他已经3个月没有给房租，每次找就说明天给过两天给，到现在也不付租，人也不在本地，说回老家打官司去了，问他到底租不租，说租的，可是就是不给钱，人也不回来，我们想问问能不能直接跟他断租把他的东西清出去换钥匙？