本人有套公寓楼正在出租，为了方便看房，钥匙放在楼下的中介店里，中介告诉我租户看满意了房子，让我配两个席梦思床垫，租户转了2000元作为订金，我当天也买了床垫，床垫到货送到房间后，发现房间里已经放了一部分租客的物品（中介未经过允许就让租客搬东西进入房间），有一些猫咪使用的猫砂盆，饮水机，猫抓板，猫的营养品等等，我看到后联系中介，表示我的房子内不允许养宠物，定金可以退还给租户，请他把租客的私人物品退还给租客，中介说租户认为我单方面违约，要求我赔偿双倍违约金，第二天，我让中介把租客东西搬出我的房子，并且我换了门锁，中介说租客不让收退回的定金，请问我在签合同之前不允许租客养宠物，会造成违约吗？