我家通过中介公司购买位于惠州石湾一套商品房；我们买方和卖方分别与此中介公司的两个中介沟通，最终签订合同，我们买方付首付给卖方的时候；从卖方那里得知；之前卖方有答应返还5000元钱给我们买方（但是并未写进合同中；因为卖方想尽快成交；且怕自己爱人指知道这个事情；故男方自己私下做出的让步，私下转账给中介；希望中介转给我们买方），且转账此5000元钱给中介时；备注；返还给买方房款5000元；现；我们买方再跟中介谈及此事的时候；中介以此5000元钱为中介费为由，据不退还5000元钱给我们买方；（卖方和中介签订的中介合同；中介费为10000元；且卖方也已给中介转了10000元钱），现我们买方应如何维权？