湘水校经堂最初是创办于岳麓书院内的一所等同于今天大学研究生院的高等级书院，现存建筑位于岳麓书院讲堂左侧。原名成德堂，亦为书院讲堂，始建于明嘉靖六年（1527）。后经清代重修，0存放祭器。清道光十一年（1831），湖南巡抚吴荣光创办湘水校经堂，设于今船山祠处，并亲题门额。光绪五年（1879）独立成院落。
鸦片战争前，全国书院都是以八股时文为主要教学内容，以适应科举考试的需要。岳麓书院也在很大程度上成了科举制度的附庸。1831年，崇尚朴学的原湖南布政使吴荣光升任湖南巡抚。吴荣光是清中期著名汉学家、乾嘉学派后起者阮元的弟子。阮元曾独创中国专课经史训诂的诂经精舍和学海堂。这两所学校代表了清代书院发展中的一个重大转变，即以汉学取代理学，以实学取代制艺。吴荣光主政后，很不满意当时书院专课八股的习气，乃仿效老师的作法，创办湘水校经堂于岳麓书院斋西的隙地。校经堂专课经史，以经义、治事、词章分科试士，然后择其优者，赐食赠金，召至抚署以供使用。刚开始时，校经堂并无同定生额，而是岳麓书院的一些生徒在本院课试制艺时文之余，在此兼习汉学。吴荣光对校经堂非常重视，曾亲书“湘水校经堂”题额，并筹给经费，酌定章程，还经常渡江到堂讲课。校经堂作为湖南最早的专习汉学的机构，对湖南学术风尚的转变起了较大的作用。后来担任湖南巡抚的李明墀在评价校经堂的创办时说：“其时多士景从。咸知讲求实学，人才辈出，称为极盛。”
咸丰二年（1852），太平军攻打长沙，岳麓书院受到战火毁坏，校经堂的课业也陷入停顿。咸丰末年，任湖南巡抚的毛鸿宾曾筹集经费，恢复校经堂，并“定立章程，自中丞以下至郡守，月一课”。到光绪初年，湖南学政朱然重新恢复了湘水校经堂，他把重新恢复的校经堂从岳麓书院分离出来，改设在天心阁侧原城南书院旧址，并正式招收了20名生徒。这样，湘水校经堂成为了一所专门治经的独立书院。这时，汉学也开始分化，古文经学逐渐衰微，而主张经世致用的今文经学开始复兴。朱然重新规划湘水校经堂后，其学术风尚开始发生变化，朝着经世致用方向发展。当时郭嵩焘为之撰写《重建湘水校经堂》，主张通经致用，将治经与“因革损益”、“治乱兴衰”、“人事之变”甚至“起居日常之用”、“进退揖让之礼”结合起来。
朱然聘请了著名经学大师成孺主持校经堂。成孺在校经堂设立“博文”和“约礼”两斋，规定生徒要“遍读经世之书，以研究乎农桑、钱谷、仓储、漕运、盐课、榷酤、水利、屯垦、兵法、与政之属，以征诸实用”。这些教学内容的改革对湖南学术和教育的影响很大。一时之间，“湘中士大夫争自兴于学”。以后郭嵩焘在长沙创办思贤讲舍，王闿运在衡阳主讲船山书院，沅州知府朱其懿创立沅水校经书院，其课试内容，均仿效湘水校经堂。正如郭嵩焘所言：“湖南校经堂课实开偏隅风气之先。”
校经堂仅有学额20名，且城南旧址狭窄，不能适应发展的需要。于是，1890年，当时的湖南学政张亨嘉与巡抚张煦商议，决定在长沙湘春门外另建新舍，并将湘水校经堂改名为校经书院。张亨嘉向盐商募捐以解决书院经费，又新增加学额20名。校经书院分经义、治事两斋，专课“全省通晓经史，熟悉掌故之士”。
“务期多士沉潜向学，博达古今，养成有体用之士，以备他日吏干军咨之选”。校经书院通经致用的办学方针，在维新运动中得到进一步的发展。1894年，江标任湖南学政。他厌恶八 文，对校经书院的学风非常赞赏，并对校经书院进行了进一步的改革。他在校经书院内建造书楼，购置了大量有关“时务”方面的书籍，购买了天文、物理、化学方面的仪器；同时，他还以学以致用的史、算、舆地、交涉、掌故、商务6科课士，使生徒开始初步接触一些自然科学知识。在《校经书院章程》中规定：“算学务求浅近实用之法，舆地须知测量绘图之法，方言专习英文。”与此相适应，江标在校经书院设立了，算学、舆地、方言3个学会，鼓励生徒学习和研究西学。1897年4月，江标又创办了《湘学报》，该报就设在校经书院。这份报根据校经书院所开六科也包括6个方面的内容，向人们介绍西方政治、法律、文化等方面情况。这样，经过江标整顿的校经书院成为了集学堂、学会和报馆三位一体的维新运动活动阵地。后来，赞同维新变法的湖南巡抚陈宝箴曾称赞江标对校经书院的改革整顿：“前学宪江于校经堂创开学会，为士子群聚讲习，以期开拓心胸，研求实学，造成远大之器用。”
从岳麓书院的湘水校经堂到独立的校经书院，历时60多年。在这段时间里，它的发展变化对中国教育产生了深刻的影响。湘水校经堂在中国教育史上的重要性在于它见证了整个晚清教育的走向。中国的书院自创办以来，一直与理学和科举纠缠在一起。一方面，知识分子的夸张、呻吟、神秘使清晰明朗的学理和文化经验中的人伦温情陷入误区；另一方面自由讲学的传统被八股时文所取代，教育无法遏止社会功利的侵染，师儒所教不出“时文试帖”，自身迷人的风采彻底丧失。湘水校经堂改变了传统的埋头于故纸堆的学风，促进了今文经学的复兴，推动了湖南学术的发展和繁荣；同时，在客观上为湖南维新运动的兴起创造了条件；维新运动兴起后，它又很快成为维新思想的宣传基地；特别是它的演变以及教学内容和改革，反映了传统教育的危机和教育改革的必然趋势，客观上为书院制度的改革以及新的教育体制的建立创造了条件。
光绪二十九年（1903），湖南巡抚赵尔巽将孝廉书院并入校经书院，改为校士馆，把未能进入师范的学生选入校士馆就读。这样，校经书院最后完成了由书院向新式学堂的演变。
湘水校经堂给那个时代带去的锥心刺骨的疼痛，无疑是惊心动魄的。不推开它的大门，不会了解它血气沸腾的内心，当然，现在一切都已经冷却了，如同一个静物，裸露在时间的深处，只有永恒的平和的油彩勾勒着它。平和，是它能活着的原由，也是它走向永恒的唯一形态。