不归还他人的身份证会违反我国的居民身份证法,行为人非法扣押他人居民身份证的,将由公安机关给予警告,并处以200元以下罚款。身份证是用于证明居住在我国境内的公民身份证明文件。
《中华人民共和国居民身份证法》第十六条有下列行为之一的,由公安机关给予警告,并处二百元以下罚款,有违法所得的,没收违法所得:
(一)使用虚假证明材料骗领居民身份证的;
(二)出租、出借、转让居民身份证的;
(三)非法扣押他人居民身份证的。