八路軍開辟華北抗日根據地的同時，由紅軍游擊隊改編而成的新四軍(按國民政府軍事委員會統一戰斗序列，為新編陸軍第4軍，習慣稱新四軍)，也在華中地區敵后猛烈開展游擊戰，建立抗日根據地。正如在華北，日軍視八路軍為最可怕的對手一樣，在華中，新四軍成為日軍最大的威脅。華中抗日根據地的區域主要包括江蘇絕大部分，安徽、湖北、河南、浙江和湖南的一部分。從1938年4月開始，新四軍各支隊相繼挺進華中各個地區開展游擊戰，建立根據地。

1938年4月，粟裕率新四軍先遣支隊深入華中敵后，開展游擊戰爭。5月，陳毅和張鼎丞分別率新四軍第一支隊和第二支隊挺進蘇南，在中國淪陷首都南京周圍的鎮江、句容、金壇、丹陽地區和江寧、溧水、告淳及當涂地區，發動群眾開展游擊戰爭，摧毀偽政權，進行統一戰線工作，初步形成了以茅山為中心的蘇南抗日根據地;8月到12月，兩支隊互相配合，粉碎了日軍的多次“掃蕩”，逐漸鞏固了根據地。7月初，譚震林率新四軍第三支隊開進皖南前線，活動于蕪湖、宣城、青陽一帶;9月初，受第三戰區之命防守青弋江陣地，殲敵400余人;12月，又擔負銅陵、繁昌沿江地區的防御任務。第四支隊于4月底進至舒城、桐城、廬江、無為地區，開展游擊戰爭;7月至10月，在安合公路兩側進行戰斗，配合正面戰場作戰;11月，支隊一部進至淮南鐵路以東展開游擊戰爭，和新編的新四軍江北游擊縱隊配合，打開了皖中地區的抗日局面。6月，羅炳輝率新四軍第五支隊挺進皖東，建立皖東根據地。10月，彭雪楓率領新四軍游擊支隊進入豫東地區，初步打開了豫東抗日局面，為以后豫皖蘇根據地的發展奠定了基礎。年底，新四軍一部在八路軍配合下，開辟皖東北和淮海區。

從1938年4月到10月，新四軍取得了一百數十次戰斗的勝利，有力地打擊和牽制了敵人，支援了正面戰場的作戰，同時積極進行創建根據地地各項工作，為擴大華中根據地、進一步發展游擊戰爭創造了良好的條件。然而，隨著新四軍抗日力量的發展，期間曾遭到國民黨頑固派的仇視，1941年1月4日，發生了震驚中外的企圖消滅我皖南新四軍的大血案，遭到了全國人民的強烈不滿和國際輿論的譴責。中國共產黨毅然宣布重建新四軍軍部。

從1941年開始，華中各根據地針對日偽軍的大“掃蕩”和“清鄉”，進行了艱苦而又堅決的反“掃蕩”、反“清鄉”、反“蠶食”斗爭。自1938年至1944年春，華中根據地軍隊和日偽作戰17500余次，斃傷日偽軍24萬余人，有力的打擊了華中的日偽軍，粉碎了日寇的企圖，堅持并發展了敵后游擊戰。