柳山书院建于半山开阔之地，这里田地平展，水港横斜；周围重山环绕，层峰叠翠，侧连寺院。书院为砖木结构，外体长方形，长约三百八十九米，宽约九十八米。总建筑面积三万八千平方米。四面的墙皆为青砖平砌，前后重屋顶民房式，风火墙内，盖瓦从不同方位向内倾斜。书院内进五重，由外而里，依次为教学区、藏书区、教师宿舍、学生宿舍、生活区等。按当地百姓的说法，书院应该分为三大厅，前厅顺山墙起列分上下二层，楼下每边置厢房八间。由前厅过大天井，登两旁台阶，进入中厅。中厅檐高十点二米。从中厅过两侧之小天井到后厅，后厅为供孔圣人所在，也称为神堂。“文革”时期，柳山书院改作国家粮库。一九七三年粮库拆迁后书院被毁。