当初1996年村里分地，我二爷因为在北京居住，无法耕种土地，就没有要村里分的耕地，这块地就闲置了，但当时村里有个人就把这块本该给我二爷的耕地给拿去种了，但粮食补贴款是我二爷的名字，直到2017年村里实行土地确权，村里把这块耕地确权到了我家，也就是我二爷的哥哥-我爷爷的名下，现在这么多年过去了，那家人还一直种着这块地，本想着毕竟是我二爷说的不要这块地，对方自己要出这块地的，我家之前就一直不在意，但村里把这块地的确权给了我家，所以我家就想要回来，毕竟对方免费种了这么多年，我家多次协商无果，对方也不和我们沟通，村里和乡里无法解决，所以想问一下，法律角度我们该怎么做