由于日軍已經占領了制高點雨花臺可以俯射南京城內的國軍，國軍處于極為不利的態勢。日軍與國軍第74軍展開反復爭奪，直到到下午5點，水西門內外的民房都被日軍的炮火打爛。到處起火，陣地岌岌可危。12點20分日軍第6師團47聯隊的第1大隊第3中隊長三明保真大尉帶領部隊沖進了中華門。安東軍曹把一面日章旗掛在了中華門上。隨后太平門也被日軍突破了，守軍第83軍第153師師長姚中英陣亡。

下午4點，唐生智口頭向大家宣布撤退，但是唐生智卻沒有任何具體詳細的撤退計劃，其基本精神就是各自自己找出路。只規定了他自己帶來司令部人員從下關撤退。當憲兵司令部副司令蕭山令將軍指揮憲兵教導團趕到江邊卻發現自己的船一艘也沒有。日軍艦艇倒是來了。最后蕭山令將軍和幾百名憲兵在日軍兩面夾擊的炮火下全部陣亡，只12人在紫金山被俘。而在前邊打頭陣突圍的第112師副師長李蘭池也在戰斗中中彈陣亡。日軍繼續前進，街頭巷戰仍在繼續，比如日軍的1只獨立機關槍隊遇到一所被國軍占據為火力點的房子。日軍步兵大隊所屬的70mm步兵炮第一發炮彈打到了房子的后面，第2發穿進了房頂在房屋里爆炸，第3發炮彈在窗戶里爆炸，房子里的國軍沖出房子，正被堵在房門前的日軍機槍侯著，跑出來的國軍都被打倒在地。僅僅3發炮彈，國軍的火力點就被消滅了。

本來南京國軍司令唐生智在戰前為了表示破釜沉舟的決心，并沒有控制船只。但是唐生智突然在12月12日下令陣前撤退，從后面的結果來看，其所制訂的撤退計劃毫無可行性可言，并且根本就沒有安排撤退船只，并且在撤退安排上帶有很大的隨機性，甚至也沒有人通知擔任督戰任務的第36師。結果第36師為了阻止國軍各部隊撤退，雙方還發生了交火。馬嘶人喊，人員嘈雜，傷兵勉強拄著棍子也跟在后面。碼頭上的人如同熱鍋上的螞蟻，就是沒有船。幸虧第74軍司令俞濟時有路子找了1艘小火輪1次可以裝300多人，經過12日1夜的忙活拉走 了第74軍的5000多人(后又有2000人歸隊)，第88師第264旅的輜重營在下關控制著一批木船把第88師搶運出去2000多人，教導總隊突圍 4000人，第36師突圍3000-4000人。南京大屠殺60年祭專輯給出的國軍突圍撤退的數字是32144人。

需要指出的是部分國軍將領的提前逃跑更加重了撤退的混亂。如第71軍軍長王敬久、該軍第87師師長沈發藻等根本未回指揮所;教導總隊隊長桂永清回到富貴山地下室指揮所后告知幕僚撤退任務，即留參謀長邱清泉處理文件等，自己單獨先去下關等等諸如此類的人還有很多。方圓幾十里的南京城已經被五路日軍圍個水泄不通，溝溝坎坎到處埋伏著日軍機槍的交叉火力網，別說是一支大部隊，就是一只兔子也難以逃脫日軍的火力封鎖線。只有南京城北面沒有日軍，可是卻有一條洶涌的長江斷絕了歸路。沒有橋梁、沒有船只，只有滾滾的江水奔騰而去，無數散兵，難民一片混亂，大家的心理已經完全崩潰，驚嚎不絕，紛紛趴著木頭盆，門窗，木棍子等等一切的東西想要飄過滾滾長江。

很快，日軍第16師團的先頭部隊第30旅團第33聯隊沖到下關，和江面上的日本海軍第3艦隊第11戰隊的5艘炮艦，4艘驅逐艦，4艘海巡艇一起兩面射擊，射殺擁擠在下關和江面上的軍民。日軍在下關等地俘虜了很多國軍，按日軍記載這些俘虜“有十二三歲的小兵，也有四十歲左右的老兵，服裝形形色色，不禁讓人懷疑，這些人是軍人嗎？”。里面那些青壯年士兵有的是南京城里賣茶碗的小販被抓壯丁，有的是流浪漢被抓壯丁。第2天，12月14日，日軍首先屠殺了4200名無法行動的國軍傷兵，隨后是屠殺俘虜和以抓逃兵為由到處抓捕男性，南京大屠殺開始了。