不可否認，李世民是一代明君，但政治和私生活是兩碼事，他并沒有因為私生活影響了政治建樹。李世民好色，性功能也很強大，這一點，可以從他生十四個兒子、二十一個女兒的戰績上略見一斑。《舊唐書》所載“太宗十四子：文德皇后生高宗大帝、恒山王承乾、濮王泰，楊妃生吳王恪、蜀王愔，陰妃生庶人祐，燕妃生越王貞、江王囂，韋妃生紀王慎，楊妃生趙王福，楊氏生曹王明”中的楊氏，就是李元吉的妻子，曹王(李)明即李世民與楊氏生的兒子。

李世民的原配長孫氏，從秦王妃到太子妃，后來成為長孫皇后。“玄武門兵變”前，秦王妃長孫氏和齊王妃楊氏互為妯娌，關系和睦，交往密切，楊氏也曾勸李元吉不要與李世民為敵，但李元吉不聽。對于這一點，李世民對楊氏是心存感激的。楊氏長得很漂亮，如呂撫《綱鑒通俗演義》說她“光彩發越，嬌啼宛轉，百倍撩人”，蔡東藩《唐史演義》說她“嬌啼宛轉，楚楚可憐……秀色可餐……令人魂銷魄蕩”。李元吉死后，楊氏請死，李世民順勢將其收納。

因為這層關系，李世民對死去的死對頭李元吉網開一面。貞觀二年(628年)，追封李元吉為海陵郡王，謚曰剌。至于楊氏在后宮是什么狀態，史載不詳，但所載楊氏“有寵于上”是肯定的。貞觀十年(636年)，長孫皇后去世，李世民立即把心偏向了楊氏。《新唐書》載，“帝寵之，欲立為后”，想立這個名義上的弟媳為新皇后。這時，以犯言直諫著稱的魏征坐不住了，說了一句話。

《新唐書》載，魏征諫言“陛下不可以辰嬴自累！”《資治通鑒》載，魏征諫言“陛下方比德唐、虞，奈何以辰嬴自累！”記載雖稍有出入，但魏征的意思很明顯，說陛下您是一代明君，自比堯舜，何必因為一個“辰嬴”而束縛和牽累自己呢？很顯然，魏征把楊氏比作了辰嬴。說起辰嬴，這里有個典故，《春秋左傳》載，辰嬴是美女，秦國人，先嫁晉懷公，后嫁給晉懷公伯父晉文公，生公子樂。晉文公死后，有人提議立辰嬴的兒子公子樂，趙盾堅決反對，說“辰嬴賤，班在九人，且為二嬖，淫也”。

魏征把楊氏比作辰嬴，顯然是對楊氏看不起，認為他先嫁李元吉，后嫁李世民，“既賤且淫”。這樣的女人，不貞不烈，不配母儀天下。再者，楊氏一旦生下皇子，亦為嫡出，李世民必深愛之，將來出現太子之爭，那么如今的太子李承乾將何去何從？李世民深諳歷史，也知曉辰嬴的典故，聽了魏征的話后，“乃止”。李世民之所以提出要立弟媳楊氏為皇后，應該說是他早有這種沖動，且可能事先許諾過楊氏。魏征一句話，就讓精明的李世民打消了立楊氏為皇后的念頭。

出于對楊氏的愧疚，貞觀十六年(642年)，李世民又追封李元吉為巢王。后來，楊氏為李世民生下幼子(十四子)李明，但在后宮中沒有任何名號，史稱巢王妃。不過，自魏征諫言后，李世民至死沒再立皇后。貞觀二十一年(647年)左右，楊氏去世。同年，李世民封李明為曹王。唐高宗李治即位后，詔令曹王李明做了李元吉的后嗣。李世民晚年最寵愛的女人是徐慧，她雖然倍受寵愛，但同樣也沒能當上皇后。說起來，李世民還是一個對長孫皇后有感情的人。