香溪洞歷史悠久。據碑文記載，始建於明代成化初年。湘西洞的名字來源於“湘西”和“古洞”。
“湘西”之所以叫“湘西”，是因為這條山澗的兩岸長滿了被稱為“香刺”和“七裏香”的植物。陽春三月，七裏香花開遍山澗兩岸，流水處處香。
“古洞”指的是海峽兩岸的懸崖，這裏有八個依次開鑿的洞穴，洞穴裏有自己的神仙居所，還有來自呂洞賓的人在這裏煉丹。