上海北火车站遗址位于天目东路200号。1908年4月，历经3年修筑的沪宁铁路全线通车。沪宁铁路由上海北站至南京下关站，全长约311公里，成为长江以南江浙地区最早修建的铁路干线。沪宁铁路通车后，清政府“铁路总公司”选择界路（今天目东路）以北，淞沪铁路上海站西侧（今宝山路、东华路）的芦苇荡，始筑沪宁铁路车站。1909年7月车站竣工，取名沪宁车站。站场占地约10.5万平方米，广场占地1000余平方米。沪宁车站的主体建筑为文艺复兴风格的主站屋兼沪宁铁路管理局办公大楼，坐西朝东，占地面积1950平方米，钢筋混凝土结构四层，大理石廊柱和联拱券门窗，底层外墙用青岛青石构筑，以上红砖外墙，饰浅色条石，是当时全国最大、最壮观的火车站。1916年12月，沪杭甬与沪宁铁路接轨共站，改名沪宁、沪杭甬两路总站。为区别沪杭甬上海南火车站，称为上海北火车站，1932年一?二八凇沪抗战中北站及大楼毁于日军战火。1933年5月至8月，修复残楼为二层，1937年八?一三凇沪抗战中北站及大楼遭日机轰炸基本全毁。1945年10月由京沪区铁路管理局接管，1946年至1947年间，曾对车站进行较大的修复与扩建，经此次修复后至建国，再无大的变化。1947年上海北站升格称为上海总站。1949年上海解放由上海铁路管理局接管。1950年3月将上海总站恢复原名上海北站。1950年8月正式更名为上海站，并核定为特等站，办理客运和零担货运。1987年2月上海火车站新客站启用后停用，改为上海站客技站。2004年8月，在原址建上海铁路博物馆。
上海北火车站遗址为静安区文物保护单位。