宋軍背城立陣，側后無憂，并處于守勢，加上宋軍大陣對于正面的先天優勢，遼軍雖然有人數上的優勢，但擅長的迂回包抄戰術無法使用，只有與宋軍做正面硬捍。在這點上從歷史戰績看，單純的正面接戰，遼軍鮮有勝績，形式對遼軍并不有利。因此，遼軍果斷做出全力一擊，將鐵林軍的重裝騎兵派上戰場，由統軍鐵林相公率領正面沖擊宋軍大陣，但事與愿違。宋軍中軍主將魏能也率領精銳部隊對遼軍的攻擊箭頭展開反沖擊，在左右兩翼的配合夾擊下不但粉碎了遼軍的正面沖擊，保證了大陣正面的安全，并在反沖擊過程中一舉射殺遼統軍鐵林相公。遼軍主將被殺，全軍為之氣沮，敗像已現。最終，在威虜軍城西的主戰場上，遼軍戰敗，準備從來路逃走，于是向西北的羊山方向撤退，宋軍兩翼秦翰和田敏的6000騎兵轉入追擊，尚未出動的預備隊李繼宣部也同時移向威虜軍城西北八里的赤虜屯住，并派出聯絡官跟隨秦翰部前進，隨時準備策應追擊部隊。

宋軍先期開赴羊山包抄的二楊所部沒有能參與威虜軍城西的大戰，遼軍的行動太過迅速，一到就打，一打就敗，一敗就逃，二楊所部的包抄任務就這樣變成了迎頭攔截的截擊任務。遼軍雖然主動撤退，但形式并不好，后有宋軍的追兵，前方還有沒有來及趕上威虜軍城西之戰的宋軍迂回部隊二楊所部6000騎兵的正面堵截。遼軍面臨著被前后夾擊的態勢。

當遼敗軍取道羊山南麓漸次向西北撤退的時候，早就埋伏在這里的二楊所部迎頭殺出，對遼軍展開正面攔截。后有追兵的遼軍正面再被攔住，走投無路的遼軍一下子迸發出強勁的戰斗力，二楊雖然倚靠羊山展開阻擊，但仍被數量上占有優勢的遼軍逐步擊退，被迫退出戰場。一部分沒有來得及后撤的宋軍死守羊山不退，最后全部陣亡。

二楊的正面阻擊雖然宣告失敗，但在使遼軍付出相當的代價同時，遲滯了遼軍的行動，為追擊部隊的趕到爭取了時間。正當遼軍最終攻下羊山上的宋軍陣地時，一路尾追遼軍的秦翰部和田敏部追上了遼軍后衛部隊。李繼宣派住秦翰部的聯絡官也及時將這一情報通報給進屯赤虜并以其為前進基地的李繼宣部。李繼宣得到情報后立即帶領自己的部下直撲羊山。在秦翰部咬住遼軍后一會兒，李繼宣部也追上了遼軍。

隨著二楊的退出、秦翰部和李繼宣部的相繼投入，形勢發生了轉變，宋軍由阻擊狀態變為追擊狀態。剛逐走二楊的遼軍轉眼就被秦翰部和李繼宣部趕上了羊山。而此時，秦翰部悄然退出了戰場。對于秦翰部來說，已經經歷了在威虜軍西與遼軍大戰，再在追擊后獨自與遼軍作戰已經使得其力不能支了，因此在友軍到達后退出戰場也屬于情理之中。連經惡戰的遼軍此時已經無心戀戰，而李繼宣部原本就是宋軍最強悍的部隊之一，這次戰役中又是作為預備隊一直沒有參戰，在一整天的養精蓄銳后正是斗志昂揚的時候，終于找到了用武之地。之后的戰事成為李繼宣部的獨舞。他們趕著遼軍從羊山南麓轉過山脊，追殺到北麓。戰斗中，身先士卒的李繼宣多次因為戰馬中箭而更換戰馬。最終在牟山谷，李繼宣部追上遼敗軍主力并殺入，取得了巨大的戰果后，剩余的遼軍逃向了八里外的遼國邊界。而在李繼宣部帶著滿身征塵和豐碩的戰果回到前進基地赤虜的時候，天已經開始黑了。

十月十六日一天的戰斗，宋遼雙方首戰長城口，次戰威虜軍，三戰羊山，最終以宋軍擊退遼軍、斬級二萬、陣斬遼統軍鐵林相公以下將領十五員的輝煌勝利告終，這在宋軍對遼長達四十年的戰爭歷史上也是少見的。此戰的勝利，要歸功于宋軍中級指揮官群體的合理決策和豐富的作戰經驗。

戰后呂蒙正領百官向真宗祝賀，真宗下令桑贊部1萬人開到邊境，而前陣軍后撤休整。威虜軍之戰以宋軍勝利而告終！但王顯仍然作了檢討，表示情報失誤，駐扎中山的中軍主力沒能及時趕到出戰，否則戰果會更大。呂蒙正也指出“......邊臣若偵候無差遵守成算克敵必倍......”但真宗還是很大度的給與了褒獎。