沉香寺位于东安县渌埠头湘江北岸的尖峰岭上，相传因悬崖边上有一高大沉香树而得名。是王夫之“潇湘十景”之“香潭渌水”的所在地，现为东安县禅德文化基地。也是东安县佛教协会所在地。
该寺建于清乾隆四十八年（1783年），有正殿3座，两房横屋各4座。砖木结构，上盖琉璃瓦。前殿是关圣帝君殿，内有关云长、关平、周仓等烫金塑像，像前一口直径为1.5米的大铁钟；中进是大雄宝殿，有3尊大古佛像，有一个烧香纸的大铁鼎。两侧有18罗汉和24诸天菩萨；后殿是观音殿，有清同治八年（1869年）建造的石塔，叫飞鸽塔。塔形七层六面，高12米，座底直径为4米。横屋内设禅座和诵经堂，有弥勒菩萨和齐天大圣像。寺前临江悬崖处有一石像观音，清道光十五年（1835年）錾成，神态慈祥。寺后石壁上刻有“我心非石”四个大字，每字2尺见方，笔力沉穆雄浑，至今清晰。