1944年4月18日拂曉，日軍在位于河南鄭州與開封之間的中牟一帶渡過黃河，向中國軍隊發起猛攻，被日寇稱為“河南會戰”、中國稱為“豫中會戰”的春季戰事打響。

李家玨的建議沒被重視

豫中、豫南大部分地區為第一戰區，戰役爆發前，8個集團軍又4個軍，共41個師，約40萬人的中國部隊，依次駐守在黃河南岸，號稱黃河沿線的“血肉長城”。但是，第一戰區被分割成兩個相對獨立的部分，第一戰區司令長官蔣鼎文直接負責鄭州以西河防，戰區副司令長官湯恩伯主持鄭州以東及黃泛區的河防。蔣與湯搭檔多年，矛盾卻很深，兩個集團相互掣肘，指揮不能統一。

1944年3月中旬，日軍不斷向黃河以北增兵，南渡企圖進一步暴露。蔣鼎文在洛陽召開了緊急軍事會議，但他僅模糊地判斷敵人將發動一次進攻，對日軍的企圖、兵力部署等問題一片茫然，只是向大家提醒，把軍官眷屬及笨重行李、重要文件等，盡快向后方轉移。

李家玨第36集團軍駐守在洛陽西邊重鎮新安地區。他認為：既已判明敵軍將向我發動一場大進攻，與其坐以待斃，不如先發制人！應立即出動飛機，轟炸敵人在黃河鐵路橋南端的北邙山陣地，拔掉日軍向南岸進攻的橋頭堡;然后再以一部分兵力殺到黃河北岸，打亂敵軍部署，動搖日軍信心，從而變被動迎戰為主動進攻。但對他的建議，蔣鼎文沒有采納。

戰區司令長官倉皇而逃

豫中會戰，日軍參戰部隊共計14.8萬人，約占華北日軍的二分之一。1944年4月17日晚11時，日軍第12軍第37師團從東、西兩個方向迂回夾擊中牟守軍第27師。戰斗打響后，守軍向坐鎮洛陽的蔣鼎文發去一份輕描淡寫的電報：今晚敵人在中牟渡河，現在只有百余人，正同我軍戰斗。蔣鼎文沒意識到問題的嚴重性，例行公事地通知各部：注意警戒河防！

4月18日凌晨兩點，日軍占領中牟鎮。拂曉，日軍第12軍主力迅速從中牟一帶渡過黃河，負責河防的中國守軍一觸即潰，“血肉長城”東線告急。接下來，鄭州、新鄭、尉氏、鄢陵、密縣、長葛等地，很快失陷。東線抵抗最為激烈的，是由湯恩伯兵團暫編15軍第29師駐守的許昌城。29師師長呂公良手下只有3000名將士，打退了日軍幾十次沖鋒，最后進入巷戰。血戰至5月1日，29師全軍覆沒，呂公良師長及兩位團長、兩位營長以身殉國，許昌失守。

許昌失守后，在登封一帶構筑防御工事的湯恩伯，陷入日軍包圍，陣腳大亂，主力部隊潰逃。在圍殲湯恩伯部的同時，一部日軍已沿隴海鐵路西進，目標是圍殲在洛陽的蔣鼎文部。5月9日，在擊潰湯恩伯部后，大批日軍開始向洛陽方向圍攻。在此之前，蔣鼎文擔心自己會被包圍，已于5月6日將長官部撤到新安。蔣鼎文帶著指揮部逃之夭夭，致使集結于洛陽附近待命會戰的李家鈺、高樹勛、孫蔚如等四個集團軍的20萬人大部隊群龍無首，在日軍的猛攻下進退失據。10日，日軍沖潰汜水、嵩山防線，新安有被東西夾擊的危險。當日夜，蔣鼎文又驚慌失措地從新安向西南撤退，到了豫西伏牛山中。撤退途中，蔣鼎文與大部隊失去聯系。上午8時，李家鈺接到蔣鼎文派人送來的密碼電令，令第36集團軍以一部暫留河防，并抽調主力打擊澠池之敵。

李家鈺主動擔負殿后任務

此時，李家鈺手中可用之兵已經很少。36集團軍名義上下轄3個軍，但17軍、14軍在戰役前已調往別處，李家鈺實際上只能指揮他從四川帶出來的47軍。47軍只有104師、178師兩個師，防守之艱難可想而知。堅持到5月15日，李家鈺在新安一帶已腹背受敵，不得已，帶領集團軍總部和178師向豫西山地轉移。在澠池一邊，104師吳長林團在云夢山發起阻擊戰，重創進犯日寇，為后撤部隊贏得了時間。而吳團官兵傷亡900多人。

西撤之后，李家鈺帶著部隊歷盡艱辛，于5月17日來到澠池縣小鎮翟涯鎮，與從洛陽西撤的第14集團軍副總司令劉戡、第14軍軍長張際鵬、新8軍軍長胡伯翰、暫4軍軍長謝輔三等將領相遇。因各軍爭相前行，道路擁擠，場面極度混亂。在召開的臨時會議上，將領們一致認為：大隊人馬蜂擁搶路不是辦法，如遇日軍襲擊將損失慘重。必須統一指揮和派遣掩護部隊，再圖反攻。眾人一致推舉李家鈺出任統一指揮官。李家鈺慨然說：“吃了河南老百姓4年飯，現在不能見了日本人就跑。如果明天繼續西進，我們川軍愿殿后！”

旗桿嶺上將軍中彈殉國

此后，各路大軍分道西行，李家鈺的部隊擔負起掩護友軍撤退的任務。5月20日，李家鈺率部從雁翎關出發，宿營于陜縣張村鄉東窯院村。據友軍情報，日軍正追擊高樹勛部，已進犯到距東窯院村僅10余里處。李家鈺判斷：日軍來得不會這么快。同時鑒于友軍正紛紛向西轉移，掩護任務急需進行到底，即決定按原計劃行軍。

5月21日，李家鈺率集團軍總部人員繼續殿后，在友軍各部相繼撤退之后，于10時從東窯院出發，按原計劃向西行軍。由于對敵情疏于偵察，情況不明，李家鈺率部到達張家河谷底時，埋伏在安家山上的日軍已居高臨下，對其形成包圍。中午時分，當缺乏戰斗力的總部人員剛登上旗桿嶺，早有準備的日軍大隊人馬從山頭上沖下來，李家鈺率部與敵戰斗，背部和左腋下連中兩槍和一片彈片，壯烈殉國。

跟在總部后邊的47軍軍長李宗昉聽說消息后，立即組織了一個敢死隊，營救總部人員。經過血戰，終于將李家鈺的遺體背了出來。李家鈺是豫中會戰中犧牲的軍銜最高的中國將領。1944年6月，國民政府追贈李家鈺為陸軍上將。