明朝永乐帝朱棣，于永乐十年（1412年）下了一道圣旨，张贴黄榜，昭示天下兴建玄帝庙。于是福州官府便于明正德二年（1507年）在屏山镇海楼上奉祀玄帝。
玄帝又称玄武帝、真武帝，在五行（金、木、水、火、土）中属于“水”，所以民间又称为“水帝”，位于城北。而屏山正是福州城中轴线的正北，以与城南的火帝庙（可惜已被折毁）遥相呼应，带有希望福州城免受水火之灾患的良好祝愿。
随后，福州镇守崔安，在西湖畔建“玄帝行宫”，并在玄帝殿左右配祀三国历史人物刘备、关羽、张飞与五显帝。明万历间，又在鼓楼之右建崇真君祠，内祀玄帝。同时，在今仓山望北台（俗称黄柏台）上建有一座规模壮观的玄帝庙。今除尚保存较好的殿堂外，还有一块刻于明代的古碑，详载其历史，成了不可多得的文物，已有四百多年的历史。
清代嘉庆、道光年间，福州著名乡土诗人魏杰，在参观望北台玄帝庙后，吟了一首诗：“岭头玄帝阙，江底白龙宫。山势朝城北，涛声涌海东。高僧琴不俗，骚客赋争雄。满壁琳琅句，碧纱字字笼。”对玄帝庙的文化内涵，作了生动的描写。
到了明末清初，镇海楼上的玄帝庙被北门外（今左海社区）梅柳桥附近的村民分炉，颇具规模。上世纪五六十年代后，逐渐被外单位占用。改革开放后，落实了党和政府的宗教政策，村民便在桥亭上恢复了玄帝庙，红墙碧瓦，古榕参天，内祀玄帝，旁祀周公、桃花女以及风师雨伯等，反映了民众祈求风调雨顺、四季平安之意。桥下有屏西河与铜盘河在此汇聚，通向西湖，环境十分独特。殿里有几副对联，其中有以地名作联的：“金吾境山仰北斗，梅柳桥水接南天。”有以“玄武”两字作为藏头联的：“玄门合德双汇水，武瑞居尊一炉香”等，都很有文学价值。山门外还竖有一块石碑，铭记该宫殿的历史与现状。