相传，黄帝时有老者结庐炼丹于此，悬壶济事，分文不收。
乡人感念，问其姓名，老人不答，指桐为名，乡人遂称之为“桐君老人”。后世尊其为“中药鼻祖”，称之为药祖圣地。山也以“桐君”名，县则称“桐庐县”。桐君，识草木金石性味，定三品药物，著《桐君采药录》，其所定处方格律君、臣、佐、使，沿用至今，为中国中医药鼻祖。 桐君，是中国有文化记载最早的一们对药物学研究卓有成效的医药学者。《隋书》、《旧唐书》、《本草序》、《本草纲目》及《中国人名大辞典》中都有对桐君的记载：桐君，黄帝时人，识草木金石性味，定三品药物，以君（主药）、臣（辅药）、佐（佐药）、使（引药），著有《桐君采药录》。桐君定的处方格律君、臣、佐、使，垂数千年沿用迄今。经考证，桐君确有其人，黄帝时人，距今已4000多年了，著有《桐君采药录》，是中国医药史上卓有成效的中医药学家。桐君山建筑甚早，宋景祐元年（10=34），名臣范仲淹以佑司谏礼阁校理知睦州军，上任过桐庐，写有“钟响三山塔，潮平七里滩”的诗句。
