馬邑伏擊戰(zhàn)之后，漢匈關(guān)系進(jìn)一步惡化。匈奴從上谷入侵，燒殺搶掠，邊境官民死傷慘重。在軍事上、經(jīng)濟(jì)上都已有所準(zhǔn)備的漢武帝正式開始了大規(guī)范反擊匈奴的戰(zhàn)爭。衛(wèi)青也由此迎來人生的一個(gè)嶄新階段。

他第一次領(lǐng)兵作戰(zhàn)參與了關(guān)市之戰(zhàn)。元光五年(前130年，一說為元光六年，前129年)，漢武帝分兵四路出擊關(guān)市附近的匈奴軍。衛(wèi)青被任命為車騎將軍，委以重任，從上谷(郡治在今北京延慶西南)出擊匈奴軍。

另外三路：太仆公孫賀為輕車將軍，出云中;大中大夫公孫敖為車騎將軍，出代郡;衛(wèi)尉李廣為驍騎將軍，出雁門(郡治在今山西左云西)。這四路將軍每人各自率領(lǐng)1萬騎兵。然而他們進(jìn)兵作戰(zhàn)戰(zhàn)果卻大相徑庭。這次戰(zhàn)役，衛(wèi)青沒有辜負(fù)漢武帝的信任，從上谷出發(fā)，一路追擊匈奴兵至蘢城(也寫作“龍城”。匈奴祭祀天地祖宗之處，在今內(nèi)蒙古正鑲白旗附近)，斬殺敵人700余人，得勝而還。其他三路，李廣是秦代名將李信之后，有與匈奴多次作戰(zhàn)的經(jīng)驗(yàn)。

他自負(fù)才氣，從雁門出發(fā)后，領(lǐng)軍急進(jìn)，遭遇匈奴主力部隊(duì)，漢軍幾乎全軍覆沒，他本人也被俘虜，后來逃歸。公孫敖從代郡出發(fā)，被匈奴兵大敗，損失了七千多人馬。

公孫賀從云中出擊，沒有戰(zhàn)功而退軍。(《史記·衛(wèi)將軍驃騎列傳》)在此次戰(zhàn)役的四位將軍中，只有衛(wèi)青是第一次領(lǐng)軍與匈奴作戰(zhàn)。衛(wèi)青雖是小勝，然而對比其他將領(lǐng)的慘敗或者無功而返的戰(zhàn)績，他的戰(zhàn)功顯然最大。不僅如此，衛(wèi)青第一次出兵遠(yuǎn)征即攻占并燒毀了匈奴的龍城，意義非凡。根據(jù)匈奴禮俗制度，龍城是匈奴歷來祭祀天地、鬼神和先祖的圣地，也是維系匈奴人信仰的所在。(《史記·匈奴列傳》，《漢書·武帝紀(jì)》顏師古注引應(yīng)劭)衛(wèi)青燒掉龍城，等于搗毀了敵人的精神和信念。在軍事上，匈奴不可戰(zhàn)勝的神話從此被破除了，極大鼓舞了漢軍的士氣。衛(wèi)青在關(guān)市之戰(zhàn)后被封為關(guān)內(nèi)侯。

元朔元年(前128年)，衛(wèi)青受命領(lǐng)軍3萬出雁門，斬殺匈奴數(shù)千人。西漢取得了軍事反擊匈奴以來的第一次大規(guī)模勝利。雁門之戰(zhàn)勝利之后，衛(wèi)青逐漸成為抗擊匈奴的主將。

這些戰(zhàn)爭的勝利，并沒有遏制匈奴的入侵。元朔二年(前127年)，匈奴侵入上谷、漁陽(郡治在今北京密云西南)，殺害遼西太守，殺掠吏民2千多人，并打敗了韓安國將軍的部隊(duì)。漢武帝命令李息率軍從代郡出發(fā)，討伐匈奴。衛(wèi)青受命從云中郡向西直奔高闕(今內(nèi)蒙古烏拉特后旗東南)。隨后，衛(wèi)青沿黃河西下隴西，俘獲敵軍幾千人，牲畜幾十萬頭。匈奴白羊王、樓煩王戰(zhàn)敗逃走。

此戰(zhàn)收復(fù)了自秦亡淪陷于匈奴70多年的河南地(今內(nèi)蒙古河套一帶)。西漢在河南地設(shè)置朔方郡，并募移民10萬人充實(shí)朔方，建立了穩(wěn)固的西北邊防體系。河南地的收復(fù)基本解除了匈奴對西漢都城長安的威脅。收復(fù)河南地之戰(zhàn)，甚至可以看作“漢武帝向匈奴發(fā)動(dòng)一系列戰(zhàn)略進(jìn)攻的奠基之戰(zhàn)”，“使?jié)h軍有了一個(gè)可東可西，出擊匈奴的重要基地”(顏吾芟著《中國秦漢軍事史》)。衛(wèi)青因收復(fù)河南地之戰(zhàn)而被封長平侯，食邑三千八百戶。

收復(fù)河南地之戰(zhàn)后，匈奴人并不甘心失敗。從元朔三年(前126年)起，匈奴軍大規(guī)模入侵代郡、定襄(郡治在今內(nèi)蒙古和林格爾西北)、上郡(郡治在今陜西榆林南)，殺害虜去漢朝幾千人。元朔五年(前124年)，衛(wèi)青被任命為車騎將軍率領(lǐng)騎兵3萬人，從高闕出發(fā)。同時(shí)出發(fā)的還有：游擊將軍蘇建，強(qiáng)弩將軍李沮，騎將軍公孫賀，輕車將軍李蔡，他們都由衛(wèi)青統(tǒng)一指揮，從朔方出發(fā)。衛(wèi)青率大軍出塞六七百里，趁夜突襲包圍了右賢王部，大獲全勝，斬獲輝煌。這次戰(zhàn)役后，漢武帝派使者正式授予衛(wèi)青大將軍印信，各路將領(lǐng)及部隊(duì)都統(tǒng)一歸屬大將軍指揮。由此，衛(wèi)青逐漸成為西漢軍隊(duì)的最高領(lǐng)導(dǎo)者。