传说晋代名士罗秀曾在此山隐居修行后成仙。
碑记刻载唐朝大历三年有僧仕在此建寺，命名为罗山寺，罗山亦因寺得名。明崇祯十年（公元1637年）九月初九，在南宁府北郊，一位年过半百的老人踽踽独行，“西过镇北桥关帝庙，西行三里，抵横塘，东望望仙坡东西相距。于是西折行五里，望罗秀已在东北，路渐微。”沿着小路前行，渡过一条湍急的小溪，过了赤土村，“越涧登山，越小山一重，内成田峒。又越峒过小桥而上，其路复大。路左有寺，殿阁两重甚整，望之无人，遂贾余勇先直北跻岭。”――这位老人就是徐霞客，他在游记中记述了自己一路探寻、跋山涉水登罗秀的情景。
