凤凰古城，早在元、明时期就建有土城，当时此地为五寨长官司司所在地，现在的北门城楼就始建于明朝。明嘉靖年间，设凤凰直隶厅，厅通判、总兵和辰沅永靖兵备道衙门都设在这里。嘉靖三十五年（1556年），将原来的土城改建为砖城。到清朝，古城的军事地位日显重要，古城也得到进一步的加固，在康熙五十四年（1715年）遂将原来的砖城改建为石城，石城周长2公里有余，并开设四大门，各建造了巍峨的城楼，东门称“升恒门”，南门曰“静澜门”，西门叫“卓城门”，北门为“壁辉门”。北门城楼与东门城楼之间城墙相连，前临清澈的沱江，既有军事防御作用,又有防洪功能，形成古城一道坚固的屏障。
遗憾的是在1940年，国民第九战区司令长官兼湖南省政府主席薛岳以“城堡一旦落入敌手，--不易，且不利于空袭疏散”为由，下令将所有城墙拆除。而凤凰东、北二门却因防洪需要，仅拆除了城垛碉楼，其它城门全部被拆除。现在我们只能看到东、北二门和连接其间的半壁城墙。