秦人洞，是一個避世亂的地方。山志中曾記載著這樣一個故事：“世傳，晉永興年間，鄉(xiāng)人齊姓入洞避難，兩旁石壁如削，約里許，出谷口，渡橫溪，有村莊，竹籬茅舍十數(shù)家，犬吠如豹，一老人出曰：‘客何來？’曰：‘仆家山南之西源�！�其妻聞曰：‘西源之客，故鄉(xiāng)人也。’進入草堂，茶罷，客曰：‘敢問倆長老姓氏？’老人曰：‘老朽姓陳，南村宦族。荊婦羅氏，西源故家，適言故鄉(xiāng)人也。恨生于戰(zhàn)國，世受楚宦，歲之戊寅，國被王翦所滅后，秦苛虐枸劇天下，富戶盡徙咸陽，予隸行中，棄家入山。歲久，不知秦嗣盛衰�？托蚁檠浴！�齊具道：‘始皇之游崩，胡亥受弒，子嬰之殪，繼西漢，東漢之興復，蜀漢、魏、吳之鼎分，典牛之受統(tǒng)，當今永興元年，蓋嗣主之十五年也�！�老者駭嘆，留客居月余。齊一日告歸，老人備錢送到洞口，山川如故，人物非前，思憶老人避秦事，故名其洞曰：秦人洞。”