是一个避世乱的地方。山志中曾记载着这样一个故事：“世传，晋永兴年间，乡人齐姓入洞避难，两旁石壁如削，约里许，出谷口，渡横溪，有村庄，竹篱茅舍十数家，犬吠如豹，一老人出曰：‘客何来？’曰：‘仆家山南之西源。’其妻闻曰：‘西源之客，故乡人也。’进入草堂，茶罢，客曰：‘敢问俩长老姓氏？’老人曰：‘老朽姓陈，南村宦族。荆妇罗氏，西源故家，适言故乡人也。恨生于战国，世受楚宦，岁之戊寅，国被王翦所灭后，秦苛虐枸剧天下，富户尽徙咸阳，予隶行中，弃家入山。岁久，不知秦嗣盛衰。客幸祥言。’齐具道：‘始皇之游崩，胡亥受弑，子婴之殪，继西汉，东汉之兴复，蜀汉、魏、吴之鼎分，典牛之受统，当今永兴元年，盖嗣主之十五年也。’老者骇叹，留客居月余。齐一日告归，老人备钱送到洞口，山川如故，人物非前，思忆老人避秦事，故名其洞曰：秦人洞。”
宋 杨亿 《樱桃》诗：“石髓凝 秦 洞，珠胎剖 汉 津。”亦称“ 秦人洞 ”。 宋 梅尧臣 《
依韵和吴正仲屯田重台梅花诗》：“桃花已满 秦 人洞，杏树犹存 董奉祠 。”