1937年“七七事變”后，王耀武的51師從漢中調往上海，參加著名的“八·一三”抗戰。51師堅守在吳淞口附近以羅店為中心的陣地，阻止日軍從海上登陸，打破日軍從川沙登陸經羅店直趨嘉定，并切斷京滬線的企圖，成為整個戰局的關鍵。日軍發揮海陸空協同作戰的優勢，向羅店發動多次猛攻，均被51師官兵擊退。王耀武巧妙地運用夜戰，派出部隊強襲，先后擊斃日軍聯隊隊長竹田和炮兵聯隊隊長莫森，受到總部通報表揚。戰后將51師與58師合編成立74軍，以俞濟時為軍長，之后74軍成為國民黨抗日勁旅，王耀武成為74軍的一員主將。

1938年7月，武漢會戰的前奏萬家嶺戰役，日本人試圖逼近武漢，把106師團送進了包圍圈。但是日本人的戰斗力和裝備都強于中國軍隊，因此為了解救這個106師團，避免它成為第一個在中國戰場被全殲的師團，日本人也下了血本。反擊的時候，74軍負責主攻。第一天攻擊，就讓日本人傷亡慘重，殘部死守張古山。這個山山勢很險，中國軍隊屢攻不下。俞濟時告訴王耀武：“張古山我不管了！反正兩天后，我要上張古山向薛岳（戰役指揮官）報告戰況！”旅長張靈甫提議從絕壁上去，并且成功奪取了張古山主陣地。這一戰，日本人承認的106師團死傷就有3000人以上。74軍一舉成名。此戰后，王耀武成為74軍副軍長，依然兼任51師師長。1939年6月，蔣介石親自召見這位黃埔三期的名將，提升他為74軍軍長（俞濟時升任第10集團軍副總司令）。

1941年春，王耀武率部參加了著名的江西上高會戰。上高縣城為贛北重鎮，日軍侵占武漢后，贛北成了江南防線的第一線。日軍企圖摧毀贛江、撫河兩條流域間的中國軍隊，制定了“鄱陽掃蕩計劃”，他們以兩個師團與一個混成旅團約5萬余人的兵力侵犯上高縣城。上高會戰至4月9日結束，歷時25天。此役中國軍隊斃傷日軍少將指揮官巖永、大佐聯隊長濱田以下數千人，軍馬2800余匹，擊落飛機一架，俘虜日軍百余人，繳獲山炮、追擊炮10門及步槍千余支。上高會戰是一次頗為成功的殲滅戰，何應欽稱之為抗戰以來“最精彩之戰”，此役以74軍戰績最為卓著，戰后，74軍被授軍中最高獎品——飛虎旗，王耀武本人亦受軍隊最高勛章。

1943年4月參加鄂西會戰，會戰結束后，王耀武升任第29集團軍副總司令，仍兼74軍軍長。同年11月，日軍糾集7個師團約10萬人進攻常德，王耀武率74軍參加常德會戰。他率主力在常德東北地區與敵激戰，常德被日軍陸、空軍及坦克優勢火力猛攻16天，全城夷為平地。堅守常德城的部隊是74軍57師，師長余程萬。8000人只有100人生還，余皆戰死。王耀武率51師反擊，在友軍的配合下，經過6天激戰，終于收復了常德城。這一戰深得蔣介石的贊賞，稱贊王耀武善于帶兵，有指揮才能。戰后蔣介石在南岳召見他，備加獎勵。1944年2月，蔣介石提升王耀武為24集團軍總司令，下轄第73、74、79、100軍4個軍10萬人。

一年之后，第24集團軍改編成第4方面軍。王耀武以一個黃埔三期的淺資榮登第4方面軍司令官寶座，與盧漢、張發奎、湯恩伯等老將平起平坐，其破格越升之速，在軍界殊為罕見，令同輩望塵莫及。在第4方面軍任上，王耀武指揮了對日的最后一戰——芷江戰役。此時王耀武率18軍、73軍、74軍、100軍及湖南省吳奇偉所率保安部隊共約30萬兵力迎擊敵人，王耀武部則以逸待勞，給敵人以迎頭痛擊，初戰即獲勝利，打死打傷日軍5000余人。戰役歷時近兩月，日軍多次進攻均被擊退，后來中國軍隊從防御轉入進攻，日軍狼奔豕突，潰不成軍。戰役結束后，計傷斃敵28174人，俘敵軍官17人，士兵230人，戰馬347匹，火炮24門，機槍100挺，步槍1300余支，其他戰利品20余噸，湘西會戰雪峰山戰役的勝利是王耀武的得意之作。正是這一戰役的成功，不久他被選為國民黨中央執行委員，這是一般黃埔同學望塵莫及的。當時他年僅40歲。1945年9月初，王耀武作為長衡地區受降長官，接過了日本第20軍指揮官坂西一良中將呈上的指揮刀。這是王耀武最輝煌的時候，他的74軍被譽為“抗日鐵軍”。