1937年，日军从上海出发，进攻了当时的中华民国首都南京。共和国的蒋介石已经命令他的精锐部队撤退。也向长江上游移动。军队领导人认为与其让军队在南京被消灭，还不如在内陆与最好的军队进行消耗战。然而，成千上万的军队仍然留在这座城市。他们受命誓死保卫这座城市。平民试图逃离，但许多人被困在城里，因为出南京的桥梁、道路和交通工具都被摧毁了，这既是为了减缓日军的推进，也是为了让军队和平民留在城里。
居住在这座城市的外国人和中国人自己对这座城市的描述都是对平民的广泛强奸和毫无意义的杀戮。在日本占领这座城市后的六周内，中国人被杀的估计有很大的不同。对死亡人数的估计各不相同。很难知道，因为许多尸体在燃烧的房屋和建筑物中被焚烧，许多被扔进河里。对士兵和平民都有许多抢劫和犯罪行为。也许政府帮助平民逃离并让军队有一条逃生路线会更好。或者发生在上海和南京的殊死搏斗是为了给日本人留下深刻印象，日本人也以在二战中殊死搏斗而闻名。
陵墓上记载有30万人在大屠杀中丧生。其他人的估计从不到20万人到超过30万人不等。造成这些不同估计的部分原因是，有些估计是针对整个南京市区的，而有些只是针对主要城市中心的。
该纪念馆由南京市政府于1985年建造，并于1995年扩建。
