苏耽是桂阳人，在汉文帝时得道，人称他为苏仙。传说苏耽的母亲潘氏在郴江河边洗衣，手指绕上五彩彩带。五彩彩带竟神奇地钻入潘氏肚里，于是潘氏未婚有孕。潘氏在牛脾山脚的山洞里生下了苏耽，然后就匆匆的弃子离去了。几天后，潘氏因想念儿子，跑回山洞正好看到白鹿给孩子喂奶，白鹤伸展翅膀给孩子御寒。最后潘氏终于决定将孩子留在身边一同生活。
　　
苏耽从小就明事理、很孝顺母亲。有一次，母亲生病却想吃臭豆腐，而当地郴州城没有。苏耽为了满足母亲的愿望，前往县市去买臭豆腐了。回来后，母亲问儿子，你这是哪来的？苏耽说，这是去县市买回来的。母亲疑惑的说，去县市来回有百余里，这怎么可能在几个时辰就买得回来，你这不是骗我吗? 苏耽说，对了，我在买臭豆腐的路上刚好遇到舅舅，他说明天会过来呢，您如果不信，明天可顺便问他就知道了。隔天苏耽的舅舅果然来了，舅舅谈到昨天确实曾在湘潭碰到苏耽。母亲听后还是一脸茫然。

苏耽自小聪颖，有次到苏仙岭山上放牛，在山脚的一座小桥碰到一位仙翁，给了他一本医书。从此，苏耽放牛时就认真看医书。说也奇怪，别人家的牛总是乱跑，而苏耽的牛不用管，自己吃饱自己回来，因此苏耽能更安心的看书。后来，苏耽学会了医术，时常为乡亲采药治病，药到病除。后来人们将苏耽遇仙的这座小桥叫做遇仙桥。
　　
由于苏耽济世救人、孝母爱人，德行昭著，上天感动，召其上天，位列仙班。

苏耽成仙前，曾对母亲说，郴州不久将发生一场瘟疫，只要用屋前井旁橘树树叶合着井水一起熬煮汤药，就可治病。苏耽升天后不久，果然郴州发生了瘟疫。潘氏用橘叶熬井水，解了这场瘟疫。事后，才有"橘井泉香"这个典故。后来，人们为了纪念苏耽，将牛脾山改名为苏仙岭，并在山顶修了寺庙，称为苏仙观。