在《隋唐演義》中，李勣成了“牛鼻子老道”徐茂公，變成諸葛亮、吳用一類羽扇綸巾，掐指運算的軍師人物。“牛鼻子老道”，古代對道士譏諷的稱呼。不過，李勣能歷仕唐初三代帝王，沒有十分精明謹慎，善于審時度勢智慧，恐怕是難以做到的。

李勣，本姓徐，名世勣，曹州離狐人，隋末徒居滑州。高宗時，為避太宗李世民諱，改為李勣。徐家原本就富甲一方，據說“家多僮仆，積栗數千鐘”，李勣與其父徐蓋都樂善好施，獲得鄉里好評。李勣十七歲那年，見天下大亂，就參加了瓦崗寨的起義軍。他勸瓦崗寨首領翟讓，說：“附近是您與我的家鄉，鄉里鄉親，不宜侵擾，宋、鄭兩州地近御河，商旅眾多，去那里劫掠官私錢物非常方便。”

翟讓聽從了他的意見，沒過多久，就在運河上劫取了無數公私財物，有錢能使鬼推磨，瓦崗不久就壯大起來。隋將張須陀親率兩萬大軍前來討伐，翟讓嚇得差點尿褲子，李勣請命出戰，僅需一會兒工夫就將張須陀斬下馬，大敗隋軍。李勣得知天下英雄李密兵敗逃亡后，與王伯當一起勸說翟讓“禪位”李密，以便擴大瓦崗寨的影響。

但是，李密取代翟讓后，卻處處防著李勣，“勣嘗因宴會刺譏氣短，密不懌，使世勣出鎮黎陽，雖名委任，實亦疏之。”當時，河南、山東一帶發生水災，由于朝廷賑災不力，遍地餓殍。李勣勸李密：“天下大亂，本是為饑。如果我們攻陷黎陽國倉，大事可成啊。”李密聽后，覺得有道理，隨即派李勣率五千人渡黃河成功襲擊黎陽倉隋朝守軍，開倉濟民，僅僅幾天就有二十多萬人參加瓦崗軍。一年后，煬帝在江都被殺，越王楊侗在洛陽即位，大赦李密等人，還封李勣為右武侯大將軍，讓他們率軍討伐宇文化及。

不久，李密與王世充在洛陽決戰，卻遭慘敗。李密本想投靠黎陽的李勣，有人勸他：“殺翟讓之時，李勣被亂兵砍傷差點死掉，他能不記仇嗎？現在投奔他，靠得住嗎？”最后，李密與王伯當只好投奔當時在關中稱帝的李淵。此時李密的地盤全被李勣繼承，面臨人生的三個選擇：割地稱王;降唐;和其他軍閥。但李勣卻說：“魏公李密已歸大唐，如果我自己上表向唐主獻地，是自邀功勞而彰主公敗績，還是把土地人口軍人數目造冊，總啟魏公，讓魏公自獻”。于是派使者前往長安傳信。

李淵獲訊后急忙召見李勣使者，卻發現只有給李密的信，十分驚奇。使者只好一五一十地道明原委，沒想到李淵聽后反而大喜，認為李勣“感德推功，實純臣也”，隨即下詔封他為黎陽總管、萊國公，不久又封右武侯大將軍，并賜國姓李。不料，李密又叛唐，遭誅殺。而李勣卻高調請求李淵網開一面，讓他為李密收尸。李淵還能說什么呢。《舊唐書》稱：“朝野義之。”玄武門之變時，李世民十分想讓李勣為自己賣命，當時很多人都認為李勣是李世民的得力干將，一定會站在秦王一邊。玄武門前夜李世民力邀李勣共商大計時，沒想到他卻默不作聲。當然，以太宗的為人，還是重用李勣的。

貞觀十五年，太宗任命李勣為兵部尚書，還未赴京上任，薛延陀部又犯大唐邊境。朝廷委任李勣為朔州行軍總管，僅率三千騎兵就將幾萬多人的薛延陀追趕至青山，并斬殺斬一名薛延陀王，俘虜五萬多人。班師回朝后，由于長期奔襲于高原，李勣突遇暴疾。太醫開出一副藥方，要用胡須灰做藥引。太宗聽聞，立即自剪胡須，為李勣和藥。李勣聽說后，十分感動。不久，李勣又隨太宗征伐高麗，攻破遼東、白崖等數城。大破薛延陀部，平定磧北。

太宗臨終前，對太子說：“汝于李勣無恩，我現在把他責出外貶。我死后，你再以新皇名義授他仆射之職，受汝恩遇，李勣必致死力。”于是，下旨任命李密為疊州都督。李勣也明白太宗的用意，毫無怨言地帶著全家老小奔赴疊州上任。

果然，登基后的高宗，隨即任命李勣為尚書左仆射。盡管位極人臣，李勣為人還是十分小心謹慎，從沒過問皇帝家事。乾封元年(公元666年)，高麗發生政變。蓋蘇文的一個兒子男生害怕受兄弟迫害，投奔大唐，請求發兵相助。高宗再次起用李勣，任命他為遼東道行軍大總管，率軍出征高麗。

李勣大軍一路攻城拔寨，殺到平壤城下，蓋蘇文的另一個兒子男建屢次出兵迎戰，都被打敗。城內的一些人見風向不對，隨即打開城門投降。男建自殺未遂。唐軍最終攻下平壤城，之后一路凱歌，共獲一百七十六城，六十九萬七千戶。高麗至此重新回到華夏體系，大唐設安東都護府管轄高麗。由于征伐勞累，加上年事已高，李勣回國后不久就病重去世，時年七十六歲。高宗下旨休朝七日，親自主持葬禮，謚貞武，陪葬昭陵。后來他的孫子徐敬業起兵反武后，兵敗被誅，剝奪李姓，滿門抄斬。李勣也被削一切官爵，刨墳斫棺，死后都不得安生！