潕溪书院始建于明正德年间（1506—1521年），原名沅溪书院，由苗族教育家吴鹤创建。吴鹤是明代苗族儒士、教育家，湖南吉首（镇溪）人。曾随大思想家王阳明游学江西，为其著名弟子。耿直不阿，不乐仕途，拒官不就，坚持在乡里设馆办学，为唐宋以来苗族第一代汉文化知识分子。后人为其建祠立碑，开设沅溪书院以为纪念。
清乾隆三年（1738年），乾州厅同知王玮在书院内设立义学，聘请常德龙阳举人龙升明讲学，高朋满座，人才济济，盛况空前。乾隆三十八年（1773年）书院改建。乾隆六十年（1795年）苗民起义，书院被毁。光绪年间，在外做官的徐凤翔为给家乡子弟营造读书环境，募集股金筹建书院，其中一股作为“文昌会”经费，仿照长沙岳麓书院规模建造书院，光绪十八年（1892年）落成。戊戌变法后，废书院设学堂，1936年，国民政府在此创办“湘西特区师资训练所”，成为公立学校。此后一直为师范学校所在地，原有书院建筑得以保存。“文革”期间，部分建筑遭到破坏。20世纪80年代，潕溪书院被列为湖南省重点文物保护单位，对建筑进行了维修。1999年，全校师生集资重建已经被毁的文昌阁，书院原貌得以基本恢复。
书院严谨的建筑群体，是社会群体意识的表现，反映了“礼乐相成”的思想。一般而言，每所书院都有包括讲堂、斋舍、书楼、祠堂的建筑群，体现书院讲学、藏书、供祀的“三大事业”。潕溪书院建筑群力求中轴对称的理想布局，以居中为尊；通过轴线层次序列，以别尊卑、上下、主次、内外，达到由序达敬的目的；又通过不同特点的庭院天井的空间组合，达到以和至亲的目的；以此形成一个序中有和、和中有序、和序统一的整体。建筑布局分为前院，主院和后院。前有大门、前厅，前厅之后是前院，庭院比较宽敞，院中绿树成荫。进入主院内是讲堂、藏书楼等教学建筑，左边有魁星阁。后庭院内主要是为祭祀而设的建筑文昌阁和大成殿，分奉文昌帝君和先师孔子牌位，每年祭祀。后部庭院左右两边分别为教师宿舍和学生宿舍，最后一进为后门。