700多年前，明王朝的开国将军沐英死后葬在南京之南，由三山环卫，背靠山脊，面向一片碧绿的湖水。他的历代子孙多封王公，都葬在这里，此地就被叫做“将军山”。将军山原名观音山，因明代归葬开国大将朱沐英及其后代子孙灵柩，形成了一座规模宏大的沐氏家族墓葬群，后更名为将军山。从上世纪五十年代起，这里先后发现了沐英、沐晟、沐昌祚、沐睿四座墓葬，仅沐英墓被保存下来，于1982年公布为江宁县文物保护单位。2002年10月，沐英墓由县级文物保护单位升格为江苏省文物保护单位，并更名为“将军山明代功臣墓”。
2002年10月22日，将军山明功臣墓地被公布为第五批江苏省文物保护单位。