开封城墙原为隋唐汴州城。唐建中二年（731年），永平军节度使李勉扩筑。五代的后梁、后晋、后汉、后周和北宋相继建都开封，对开封城墙都有不同程度的修葺。北宋在此建都163年中，对东京城池又进行了大规模的扩建加固，使京城规模宏伟壮丽，举世闻名。
东京开封城墙包括外城、阙城、宫城三重。外城、宫城仅成遗迹。
阙城，即宋代内城，一名里城，或名旧城，周围20里155步，另一说21里。李勉重筑后，宋代屡有增修，南面三门，东面二门，西面二门，北面三门，共有10个城门，东西两面还有两个水门。金人占据东京后，曾加以扩筑，当时"就取艮岳之土搬筑以为北面城垣，其景龙江改为城濠。"
元世祖至元二十七年（1290年），重修汴梁城。至正十七年（1357年），元守将为防红巾军攻城，将汴梁城"四方城门只留五座，以通往来，余八门俱塞。"
明洪武元年（1368年），重筑开封府城，一改旧式土城结构，砌以砖石，周围20里190步，高3丈5尺，广2丈1尺，护城河深1丈，阔5丈。建有5个城门，东2，南1，西1，北1；角楼四座，敌台84座，警铺83座，城门建有月城三重。永乐、嘉靖年间也曾重修。明崇祯十五年（1642年），河决灌城，水退后，"开封旧城郭俱被泥沙围拥地下，垣形卑甚，"残破不堪。
清康熙元年（1662年），重修开封府城，"各门营建如旧制"。乾隆四年（1739年）、二十二年（1757年）、二十九年（1764年）又重修；道光二十一年（1841年）河又围城，水退后再次重修，自道光二十二年（1842年）三月开工，至道光二十三年（1843年）九月竣工。经过这次修复，城高原仅2丈4尺，修复时又增高1丈，上宽1丈5尺，底宽2丈，并添女墙6尺。这就是现存的城墙，经建设局测量周长14．15公里。
1928年，在南门东边另开一门，直对北门，名新南门，俗呼小南门；1931年，拆去各城门楼。
1954年在南门西边（西南门），1957年在西门南边（小西门）各开一门，1959年，在宋门、曹门之间辟一门（新开门），1980年又在曹门之北辟一门。现开封城垣共有10座城门，各门瓮城已无存，仅留南门瓮城。仅有的一座原建的城门--宋门，于1980年也被拆除。1994年，修复工程开工，先是修复大南门瓮城部分，1997年，又修复西门，1998年10月，西门城楼落成并对外开放。
现开封城墙，基本保存完好。目前是长度仅次于南京城的一座城墙，完整程度则超过南京城。
开封城屡毁屡筑，大都毁于黄水。但由于高大的城垣，多次大水都赖坚固的城墙，挡住汹涌的波涛。开封城墙不仅外表雄伟壮观，同时也是防御水患的实用性建筑。
今开封城墙系清道光二十二年（1842年）重建，高8米，宽5米，周长14.4公里，青砖结构，与东京内城规模大体相近。虽不及宋城之宏大，但仍为仅次于西安城墙的国内第二大城垣，并于1996年被国务院公布为国家重点文物保护单位。