魏征，剛開始投靠在瓦崗李密部下，魏徵曾獻上壯大瓦崗的十條計策，但李密一條都沒用，于是魏征感覺自己懷才不遇，也認為李密不是一個明君，所以也就得過且過，混日子了。

619年，李密被王世充擊敗，魏徵隨李密歸降李唐。在這段時間里，魏征還辦成了一件大事，就是勸降了徐茂公歸順大唐。

同年，竇建德率軍攻打相州，李神通抵擋不住，魏徵、李神通、徐茂公都被俘虜。竇建德認為魏徵是個人才，所以任命他為起居舍人。

621年，李世民率軍攻打王世充，竇建德支援。卻不曾想，竇建德大敗，魏徵再次為李唐王朝效力。太子李建成欣賞他的才能，這次直接把魏徵挑走了，當了太子洗馬，也就是在東宮輔佐太子的文官，正三品。

食君之祿，忠君之士。魏征可沒少給李建成出謀劃策。李建成雖然是嫡長子，但是功績不如秦王李世民，所以魏征建議李建成平定劉黑闥之亂，山東收復。

這還完全不夠，為了保住李建成的太子之位，他并建議太子對秦王早日采取行動，出掉以絕后患，可是太子這次卻沒有聽取他的意見，以至于玄武門之變身殞于秦王之手。

武德九年，李世民發動玄武門事變，將李建成、李元吉等誅殺。李世民聽說魏徵以前勸李建成除掉自己，就把他帶問道：“你為什么要離間我們兄弟？”魏徵回答說：“太子要是按照我說的去做，就沒有今日之禍了。”李世民見魏徵說話直爽，沒有絲毫隱瞞，于是赦免魏徵，先引為太子宮詹事主簿，即位后又拜諫議大夫，封鉅鹿縣男。

從此魏征出謀劃策，諍諫直言，兢兢業業，作為太宗的重要輔佐，他曾懇切要求太宗使他充當對治理國家有用的“良臣”，而不要使他成為對皇帝一人盡職的“忠臣”。每進切諫，雖幾次極端激怒太宗，而他神色自若，不稍動搖，使太宗也為之折服。

長樂公主李麗質是長孫皇后長女，李世民也對她特別鐘愛，將她許配給長孫無忌之子長孫沖，并且嫁妝禮數欲有所加。大臣們見狀，紛紛拍馬器，請求雙倍于永嘉長公主。然而魏徵率先反對，永嘉公主乃是長樂公主的姑姑，此舉逾越了禮制。長孫皇后得知此事后感嘆魏徵能“引禮義抑人主之情”，并對他大加贊賞。特地派人前去賞賜給魏徵絹四百匹、錢四百緡，并傳口訊說：“聽聞你正直，現在見識到了，希望你一直保持，不要改變”。也正是因為有長孫皇后這樣的靠山，魏徵的正義直諫才會這般順利。不久魏徵晉升爵位為郡公，位列凌煙閣二十四功臣之三。

隨著長孫皇后和魏征的去世，魏家不復往日繁華，不久之后，侯君集以謀反罪被處死，杜正倫被罷免，魏徵曾經向李世民推薦這兩人，所以李世民懷疑魏徵是侯君集一黨的。于是手詔取消衡山公主與魏徵長子魏叔玉的婚約，還砸了魏征的墓碑。

但是，很快，李世民就后悔了，由于沒有臣子直言進諫，親征高句麗，大敗而回，發出“魏徵若在，不使我有是行也。“

在《西游記》中，魏征已經成了一個神人，他能夢中斬龍，所以與秦瓊、尉遲恭并成為門神，雙門左右貼秦瓊和尉遲恭，單門貼魏徵。