不履行村委会调解协议可以到法院起诉处理。当事人可以先行遵循自愿、合法原则自行调解,调解时不得损害国家利益、社会公共利益和他人合法权益,或由法院工作人员组织双方当事人和解制作书面调解书。
《中华人民共和国民法典》第二百三十三条物权受到侵害的,权利人可以通过和解、调解、仲裁、诉讼等途径解决。