打退了突厥對太原的進犯，起兵被李淵提上了日程，他的目標是西入關中，攻下長安，為了避免突厥趁機幫助劉武周攻打太原，他卑辭厚禮穩住突厥，承諾攻城略地所得財寶都獻給突厥，突厥賣給他好馬。穩住突厥后，李建成和李元吉也趕到了太原匯合，李氏父子的大業就要開始了。

西河郡丞高德儒不響應李淵，而西河(今山西汾陽)又在進軍長安的必經之路上，所以大軍進發之前必須先拿下西河。六月初五，李淵派李建成和李世民帶兵攻打西河，當時李淵的軍隊還沒有編制，李建成和李世民也沒封號，軍中就叫他們大郎和二郎，唐朝的郎相當于后世的公子。當時李建成28歲，李世民18歲，因為太年輕，李淵就派太原令溫大有和他們一起參謀軍事。

當時軍隊剛剛籌建起來，還沒有經過訓練，李建成和李世民怕難以治軍，就先制定了軍法，稍稍整頓后就出發了。兄弟二人和兵士同吃同住，同甘共苦，趕路時沖在前面。六月份民間瓜果蔬菜已經收獲了，他們不像其他軍隊一樣搶奪百姓，一定要用錢買才吃。有士兵偷瓜果的，李建成和李世民都幫他付錢，也不追究偷東西的人。路旁有鄉親父老送瓜果蔬菜和水的，他們都重謝然后分給兵士，見者有份。有人送牛肉和酒的，他們堅決不要，說這是隋朝的法律，我們義軍不敢。不得不說這兄弟二人在收買人心方面比他們的父親是青出于藍而勝于藍，將士們看到大郎二郎這樣都十分感動，士氣大振。

到了西河城下，李建成和李世民沒披盔甲就到城下曉喻百姓，城外的人想入城，不論男女老少，一律放進去，城內的官員百姓見到這支軍隊如此寬容，早就想著投靠了，只有郡丞高德儒堅決不降。六月初十，李建成和李世民下令攻城，剛架上云梯，將士們奮勇而上。還沒等攀登上去，西河的一個官員就帶著兵上城樓抓了高德儒送到李建成和李世民的軍營前，真可謂不戰而屈人之兵。

高德儒曾經把指野鳥為鸞來奉承隋煬帝，李建成李世民數落他說“你曾經假報祥瑞取悅隋煬帝，跟趙高指鹿為馬沒有區別，我們是義軍，肯定不會放過趙高這樣的人”。于是只殺了高德儒一人，其余秋毫無犯。六月十四就回到了太原，往返九日就攻下了西河，李淵為有兩個能干的兒子十分高興地說“像這樣用兵，可以橫行天下了”。

這是李氏父子起兵的第一戰，有多少雙眼睛都盯著李建成和李世民，還好兄弟二人都是人中龍鳳，雖然初出茅廬，但才干非凡，禮賢下士，身先士卒。西河之戰的勝利鼓舞了士氣，也堅定了李氏父子揮師關中的信心。