今年的上半年，我单身，因生意人跟人合作，合作的这个人，在追求我的时候我不知晓对方的婚姻状况，后来了解对方有家室后，多次提出退出合作，并断联，但是对方因经营不善，多次找我帮忙，并通过其他朋友来劝我，并多次跟我说自己跟妻子分居住十几年，已经协议了离婚，在办理离婚手续。因为心软，相信了对方，又回去帮忙经营。直到原配打电话辱骂我，我再次离开，但是他还三番五次找我，我是在开始的时候糊里糊涂判断错了人，但我是一个有道德良知的人，我已经几个月前果断拉黑了对方，但对方的妻子还在到处传播不良语音，发信息辱骂我，甚至到我的单位去闹，我的生活倍受困扰，我的名誉受到损害，要怎样维权？