清同治三年（1864年），天京（南京）沦陷。太平天国幼天王洪天贵福（洪秀全长子）在干王洪仁轩等人的保护下，率太平军余部南下，10月9日途经广昌与石城交界处杨家排古岭脑时遭党清军席宝田部伏击，10月23日幼天王被清军捕，即囚禁于桂花屋花厅。月初，幼天王被押抵省城，28日被江西巡抚沈葆祯杀害于南昌。该客家民居与太平天国诸多巧合，时间巧合：该民居修建于1851年，落成于1864年，与太平天国起义、沦陷时间一致；地点巧合：起义于花都，建都于南京（石头城），终结于石城；人物巧合：该民居五个马头墙与太平天国五王石城蒙难巧合。幼天王曾用毛笔在侧室南面-墙上提诗一首“有志攘夷愿未酬，七旬苗格得难谋；足跟踏开云山路，眼底空悬海月秋。
桂花屋是县城唯一保存较好的客家民居，是清代客家民居的典型代表，体现了独特的客家建筑文化，该屋为砖木结构，悬山顶，三堂两横式民居，中有天井，后为正房，两边厢房，前0院，门额楷书阴刻“永怀”二字，年款为“咸丰辛亥年”（1851）。该屋系当年石城富豪黄性存所建造，占地面积约为1500平方米，有70余间，分三进：前厅、中厅、后厅，两侧是厢房。整个建筑富丽堂皇，高墙深院，是典型的客家民居，保存比较完好。以幼天王为首的诸王在石城的覆灭，宣告了历时14年之久的太平天国运动彻底终结。使桂花屋成为这段重要历史的实物见证和历史信息的载体，它的保存，对太平天国后期革命斗争的研究具有重要意义。