1937年10月12日，是新四軍成立的日子。其實，10月12日只是后來議定的紀念日。新四軍的誕生，有一個復雜的相當長的談判、斗爭過程。八一三事變后，在全國人民強烈要求團結抗日的巨大壓力之下，國民黨終于同意將南方8省14個地區的紅軍游擊隊編成一個軍開赴抗日前線。為減少矛盾，共產黨提議由已經不是共產黨員的北伐名將葉挺出來擔此重任。葉挺希望這支新編的部隊能夠繼承國民革命軍第四軍的優良傳統，提議命名為國民革命軍陸軍新編第四軍，簡稱新四軍。1937年9月28日，國民政府軍事委員會任命葉挺為新四軍軍長。

1937年10月以后，葉挺、項英、陳毅等同國民黨當局就新四軍的建制、編制、干部、裝備、經費等進行了多次協商。關于建制，國民黨當局不同意新四軍隸屬八路軍，最后議定新四軍受第三戰區指揮，在長江以北的新四軍第四支隊則受第五戰區指揮。關于干部，國民黨一再要派人擔任新四軍各支隊直到團營的軍職，理所當然被共產黨拒絕，最后的協議是在軍和支隊，可以由國民黨軍事當局派駐聯絡副官。關于裝備和經費，國民黨竟要新四軍自行解決，后來商定由第三戰區撥給，但標準略低于國民黨軍。

葉挺于1937年11月3日到延安，向中共中央報告新四軍的籌建工作。在歡迎大會上，毛澤東代表中共中央歡迎葉挺擔任新四軍軍長，葉挺表示“一定遵照黨所指示的道路走”。11月7日，項英也到了延安，和葉挺商談。按照中共中央關于軍部暫駐武漢的意見，葉挺、項英先后到達武漢，在漢口大和街26號(今勝利街末段)籌建新四軍軍部。經中共中央提出，國民政府軍事委員會核定，新四軍的其他領導人是：副軍長項英，參謀長張云逸，副參謀長周子昆，政治部主任袁國平，副主任鄧子恢。1937年12月14日，中共中央政治局會議決定成立中共中央東南分局(后改東南局)和中共中央革命軍事委員會新四軍分會，兩個黨的機構都由項英任書記。因此，項英實際上是新四軍政治委員。軍分會副書記是陳毅。東南局副書記是曾山，后增饒漱石。

新四軍軍部在武漢只有12天，于1938年1月6日移駐南昌三眼井(今友竹路7號)。到南昌以后，軍部各部門陸續建立起來。當時國民革命軍的統一編制是軍部設8個處，新四軍有所不同的是將政工處擴大為政治部，以繼承紅軍政治工作的傳統。各部門的主要負責人是：參謀處處長賴傳珠，秘書處處長李一氓，副官處處長黃序周，軍需處處長葉輔平，軍醫處處長沈其震，軍法處處長李一氓兼，兵站處處長張元壽，情報處處長封裔應，政治部秘書長黃誠，組織部部長李子芳，宣傳教育部部長朱鏡我，民眾運動工作部部長鄧子恢兼，敵軍工作部部長林植夫，戰地服務團團長朱克靖。

由于編入新四軍的各地紅軍游擊隊正在開赴皖南和皖西集結，也為了使指揮機關盡量靠近抗日前線，新四軍軍部于1938年4月4日離開南昌，5日抵達皖南歙縣巖寺鎮，7日又到太平縣(今黃山市黃山區)麻村，26日進駐南陵縣土塘村，8月2日移駐徑縣云嶺村。軍部在云嶺近三年，直到1941年1月4日晚北移。