小孩四岁，在三岁的时候离婚了，离婚时也去过法院，法院也调解了，但是他无法沟通，就是要抚养权，小孩从怀孕到没离婚前都是在我家我和爸爸妈妈，但是离婚的时候就是跟我抢抚养权，因为婚姻真的不能继续下去，不给他抚养权就不离婚，我不得不把孩子抚养权给他，我们签了协议书，女方可随时探望或者带孩子回女方家，也写了孩子上学可以商量到女方家，但是他却没按规定，之前去接小孩不给我带所以还介入了警方，从那以后态度稍微好点，但是现在也一样，必须经过他们全家同意后才能去接，孩子幼儿园的事也没跟我商量，我真的忍受不了了，我该怎么办