临沂市中医院筹建于1975年5月,1976年9月正式定名为"临沂地区新医医院",同年12月门诊楼建成开诊,成为一所以中医为主、中西医结合的新医医院。
1979年12月,医院更名为"临沂地区中医医院",1995年临沂撤地划市后,改称"临沂市中医医院"。