南湖因地处嘉兴城南而得名。古称彪湖，马场湖，分为东西两湖，形似鸳鸯交颈，古时常有鸳鸯栖息，合称鸳鸯湖。
随着嘉兴城市的快速发展，南湖已经成为城中之湖，城中之景，成为嘉兴的城市名片，清晖堂是南湖的景点之一。
清晖堂建于清同治四年，当年嘉兴知府许瑶光为了表示乾隆皇帝南巡曾经到过此地，在湖心岛渡口大石埠台阶上建造了一座门厅，取名“清晖堂”。匾额中的“清晖”两字有两层含义：清即是早晨，晖是阳光的意思。清晖堂为朝东向，早晨第一缕阳光就能照射到这里；同时“清晖”两字又隐喻了对清朝政府的颂扬和恭维。
同治十二年，许瑶光又在清晖堂左右各建厢房，南厢房名“菱香水榭”，原本是文人雅士聚会的地方。他们在这里品茗茶，赏湖景，看菱花，楼景湖景，茶香菱香，悠悠如神仙，所以题门匾“小蓬莱”，北边的是“菰云簃”。
许瑶光字雪门，号复斋，晚号复叟，湖南善化（长沙）人。清嘉庆二十二年生，道光二十九年拔贡。历任桐庐、淳安、常山、诸暨、仁和等县知县，有循声。嘉兴府知府前后十八年，政声卓著，光绪八年卒。著有《雪门诗草》十六卷、《谈浙》四卷。清代诗人，浙江名宦，被当时舆论誉之为近世少有的贤太守，正是因为有他才能有现在的清晖堂的这些建筑群。
清晖堂这面的北侧墙上有“烟雨楼”三个大字，这是清顺治年间书法家冀应龙的手迹，笔力遒劲，这两间房都在濒湖水边。
夏日，在此倚栏远眺，只见接天菱叶无穷碧，湖上轻烟漠漠，菱花送香，真如置身水晶宫殿之中。
“清晖堂”前的石台阶——中间宽两边窄，据说这是仿北京故宫的大台阶而建，中间走皇帝，旁边走大臣。现在清晖堂这里已经改做城了买西湖特产的旅游纪念品商店，您要有想买的地方特色产品，不如在此处买一些。