安阳书院位于阳山镇狮子山与长腰山之间，四面环河，环境幽静。始建于清同治三年，由浙江候补知府钱勖募资在原慈缘庵旧址上兴建，现有建筑包括书院大门、门厅、砖砌门楼、北侧厢房、主厅等均为清代建筑。2005年进行整修时建慕贤堂一所。建筑面积计480平方米。书院门前的单孔小石拱桥，为明代成化八年原物，采用当地产阳山石构筑，至今保存完好，十分珍贵。门口的两棵古银杏已有120年历史。
门厅，三开间，硬山顶；大门用明代青石门枕石。门厅后与天井以砖雕门楼相通；门楼上砖刻“樸作人”四字。
南北厢房各三间，硬山顶，有风火墙，南庑已毁，两进两庑面向中央庭院均有外廊，相互连通，围成天井。
主厅，三开间，硬山顶，木构架为内四界前轩后双步，两侧山墙上有风火墙。
慕贤堂为2005年进行整修时所建，面阔三间，进深六架。
两进两庑面向中央庭院均有外廊，相互连通，围成天井。
2006年6月5日，安阳书院旧址被公布为第六批江苏省文物保护单位。