祿山之亂，京城陷賊，從肅宗搜兵靈武，為天下兵馬元帥。公元757年(至德二年)盛夏過后，肅宗加緊了對安史叛軍總攻的準備與部署。這年閏八月二十三日，肅宗犒賞三軍，總攻長安、收復京師的戰斗就要打響了。

九月十七日，唐朝大軍正副元帥廣平王、郭子儀為中軍，李嗣業為前軍，王思禮為后軍，回紇兵馬由葉護率領作為機動隊伍，在灃水之東的香積寺(位于今陜西長安南)以北橫亙30里，與叛軍10萬人擺開了決戰的陣勢。

戰斗一開始，敵人驍將李歸仁出陣挑戰，唐軍前隊進逼相應，遭到敵人突然反撲，軍中大亂。正當危機關頭，壯勇絕倫的李嗣業奮臂高呼：“今日若不拚死一戰，必將一敗涂地。”說著，竟卸下鎧甲，光著膀子，掄起長刀，沖向敵陣。敵軍被其英勇所震懾，唐軍也士氣大振，陣腳方才穩住。李嗣業乘勢率領前隊軍卒各執長刀，列陣而進，他身先士卒，所向披靡，軍陣似銅墻鐵壁壓向敵人。剎時之間，疆場上戰馬嘶鳴，刀槍撞擊聲、士兵吶喊聲，響成一片。這場血戰一直從午時打到酉時，直到夜幕降臨，敵軍潰逃而去。戰場上留下6萬多具尸體。叛軍退入長安后，連夜逃跑了。

唐軍得到戰報，代宗立即下令入城。京師長安淪陷15個月后終于收復了，這是進入戰略決戰以來取得的一次巨大勝利。當身為元帥的代宗率軍進入長安時，城內的百姓扶老攜幼，夾道相迎，他們嗚咽著、歡呼著，為從此結束朝不保夕的動蕩生活而慶幸，為擺脫叛軍野蠻鐵蹄的蹂躪而歡慶。長安城的百姓也許并不知道，剛剛趕走了叛軍，一場背后的交易幾乎讓他們遭到滅頂之災。

回紇兵馬在攻克長安之后，葉護提出要唐朝履行肅宗皇帝當初的許諾，即索掠城中的金帛、子女。

代宗勸阻葉護：“今剛剛收復西京，若馬上大舉俘掠，則東都之人就會皆為賊固守，收復東都就不容易了。愿到了東都再履行約定。”葉護聽從勸告，與仆固懷恩各領兵由城南繞行，到浐水以東安營扎寨。

至德二載十月十八日，唐朝大軍進入東都洛陽。至此，兩京均已收復，平叛戰爭取得了重大勝利。洛陽百姓卻再次遭受不盡的苦難。城中百姓歡迎唐軍的人群還沒有散去，回紇兵已按捺不住無限的貪欲，直沖向庫府收取財帛，在洛陽市井及村坊之中大索三日，城中父老出于無奈，自動收集錦羅綢絹萬匹奉送給回紇，回紇兵才算收斂。代宗此番也無法阻止其剽掠，還同城中百姓一道送給回紇金銀財寶，葉護在洛陽城內理直氣壯，毫無顧忌。

長安、洛陽兩京的相繼收復，代宗以天下兵馬元帥身份立下了卓越戰功。肅宗返回京城后，于公元757年(至德二年)十二月十五日，將他進封為楚王。

公元758年(乾元元年)三月改封成王，五月十九日，立為皇太子，十月五日，舉行了冊禮，確立了他的皇位繼承人地位。上元末年，兩宮有疾，太子往來侍疾，親嘗藥膳，衣不角帶者久之，及承監國命，流涕從之。