与残疾人离婚不算遗弃。遗弃家庭成员的行为有:
1、由于遗弃而致被害人重伤、死亡的;被害人因被遗弃而生活无着,流离失所,被迫沿街乞讨的;
2、遗弃而使被害人走投无路被迫自杀的;
3、行为人屡经教育,拒绝改正而使被害人的生活陷一危难境地的;
4、遗弃手段十分恶劣的等。
《刑法》第二百六十一条，对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，处五年以下有期徒刑、拘役或者管制。
温馨提示：
