山西大学前身是1902年5月8日创办的山西大学堂,1912年改名为山西大学校,1918年确定为国立山西大学,1931年改名为山西大学,1953年更名为山西师范学院,1959年恢复山西大学校名。
1901年9月,山西巡抚岑春煊奉清政府“各省所有书院于省城均设大学堂”令,将并州的晋阳书院和令德堂书院合并,筹办山西大学堂。
1902年5月8日,山西大学堂宣告成立。不久,岑春煊接受英人李提摩太的建议,奏请清政府批准,在山西大学堂增设西斋,原有部分称中斋。
6月26日,西斋开学,敦崇礼担任西学专斋总教习。同年,山西大学堂在上海成立了译书院。
1903年,根据清政府颁布的《奏定学堂章程》须设有三科方能称为大学的规定,其他各省都遵章将学堂改为高等学堂,全国仅有京师大学堂、北洋大学堂、山西大学堂称大学堂。