Могут ли лишить земельного участка с домиком если перестать туда ездить в связи с переездом в др.город?

Могут ли лишить земельного участка с домиком если перестать туда ездить в связи с переездом в др.город? Соседи на даче очень стервозные соседний домик двоюрный дядя,соседний домик с дядей его племянница, и они очень мечтают купить мой домик для своих детей которые ездят к ним на дачу. Злятся если не приезжить и не делать что-то в огороде,злятся хорошим овощам и при этом плохому огороду,если что туда купить тоже злятся,так же и все их друзья другие соседи зло на меня держут непонятно за что! Если я перестану ездить то они точно пойдут куда нибудь в исполком или ещё куда что лишить меня земельного участка. Возможно ли это? право собственности зарегестрировано на меня 2 года назад по договору дарения. Право собственности на земельный участок и садовый дом. В связи с чем есть вероятность что меня лишат права собственности?