衡阳铁路早期建筑群位于衡阳市雁峰区、蒸湘区、珠晖区，时代为1933～1956年。
衡阳铁路早期建筑群共有9个文物点，分别是：1957年建成通车的衡阳湘江公铁大桥、1936年建成使用的衡阳站早期建筑、1947年重建的衡阳西站早期建筑、建于1938年的衡阳中山堂旧址、建于1938年的粤汉铁路管理局图书馆旧址、建于1938年的粤汉铁路管理局办公楼旧址、建于1950年的衡阳铁路管理局办公楼旧址、建于1950年的衡阳铁路管理局专家楼旧址群、衡阳焊轨厂（现为广州工务大修段衡阳焊轨车间）百年钢轨（专用线）。
衡阳地处湖南省中南部，衡阳铁路南接广东、西通广西、东连江西，是我国华南地区的重要铁路枢纽，历史上曾是粤汉、湘桂两个铁路管理局所在地。从1936年粤汉铁路开通运营到现在，衡阳铁路为我国铁路建设和湘中南地区经济发展做出了不可磨灭的贡献。同时，历经80多年的风雨，衡阳铁路遗存了不少历史遗迹，成为中国铁路的一笔珍贵财富。
近年来，经过铁路文物爱好者的挖掘、整理和宣传，同时在湖南省衡阳市文物局的支持和帮助下，2015年底，衡阳铁路遗迹有10处被列入衡阳市级文物保护单位名单。
2019年，衡阳铁路早期建筑群被批准为湖南省第十批省级文物保护单位。