桂斋在荷亭西北侧，原为皇华亭故址。
新建的“桂斋”由前后两院组成，北院为桂斋正厅和“林文忠公读书处”组成，庭院西侧有游廊和碑亭。南院为假山鱼池，有六角亭及石拱桥各一。
桂斋东面院外为禁烟亭，建于民国十八年（公元1929年）六月，平面正方形，四角方形混凝土柱，西式叠涩檐口，攒尖顶，是1949年前留下的唯一建筑。
清道光九年（西元1829年），福建布政使程含章见屏山原李纲祠破败不堪，“心窃伤之”，遂募集资金欲重建。时林则徐丁父忧在家守制，受托主持西湖疏浚工程，程含章与林则徐商议后，选西湖荷亭旧址，兴建新的李忠定公（李纲）祠，并附建纪念李纲读书处的“桂斋”。建成后留有程含章撰稿，林则徐手书《新建宋李忠定公祠堂记》。“桂斋”为李忠定公祠的花厅，取李纲晚年住所为名，并植桂花两株。
林则徐曾语于亲故：不求身后立祠，但得配祀李忠定公祠足矣。道光三十年（西元1850年）林则徐卒，翌年，州人奉其遗像祀于桂斋中。
光绪三十一年（西元1905年），澳门路林文忠公祠成，此处改称“林文忠公读书处”，并篆书石刻嵌于墙上。
民国十八年（公元1929年）又在斋旁建室一间和禁烟亭一座。
1949年以后，尤其是文革-时期，李忠定公祠和桂斋被毁。
1961年公布为福州市第一批市级文物保护单位。