楊宇霆曾在日本士官學校留學。因為治軍嚴謹得到張作霖的賞識，調他任二十七師參謀長。此后他協助張作霖逐步打開東北的政治、軍事局面，個人也隨之揚名，成為張作霖身邊的紅人，在東北有“智囊”、“小諸葛”之稱。

楊宇霆協助張作霖做了四件大事：一是建立東北海軍，使軍隊自成體系，增強了部隊實力。二是制定田賦制度，從軍閥、地主手中挖出大量未開墾的荒地讓農民耕種，發展生產，增強了東北的經濟實力。三是修筑戰備公路，當時東北的南滿鐵路權歸日本，修了戰備公路，交通運輸不受日本挾制，一旦戰爭起來，可以用公路與日軍周旋。四是督辦奉天(沈陽)兵工廠，自制武器彈藥裝備軍隊，增強了防衛能力。由于這樣做，東北的軍事、政治、經濟實力大增，使早已對我國東三省垂涎三尺的日本人不敢輕舉妄動。在日本人向張作霖要求在東北實行“雜居”的問題上，楊宇霆認為這是袁世凱賣國二十一條第十六條的翻版，力主不予答應。日本人看出楊的所作所為，是他們侵占東北的主要障礙，因而產生了“鄰國之賢，敵國之仇”的除患之念。

1920年直皖戰后，張作霖認為治軍治政非楊宇霆不行，于是請楊出山回奉天，任東三省巡閱使，上將軍公署總參議兼奉天兵工廠督辦。因前嫌，少帥張學良和第十軍軍長郭松齡處處與他為難，

1925年10月，郭松齡倒戈反奉，其中就有整倒與他積怨較深的楊宇霆留學生派的因素。12月24日，郭兵敗灤州遇害，了卻了楊宇霆的一塊心病。

1928年6月4日，張作霖在皇姑屯車站遭日本人暗算身亡。楊宇霆的處境更為復雜。12月29日東北易幟，楊堅決反對，他認為不應該服從蔣介石，因此與張學良釀成新的矛盾。對張學良他儼然以保護人的身份自居，經常以周公輔成王的典故自詡，規勸張學良戒毒，批評他不問政事。雖出好心，但年輕氣盛的張學良卻不買他的賬。日本人也趁機利用正友本黨和混跡東北的中國流氓處處誹謗楊宇霆，離間張楊關系。他們送給張學良一本《日本外傳》，將張學良比作日本戰國時期國家實際控制者豐臣繡吉，將楊比作篡位的大名德川。暗示張學良，楊宇霆是他身邊的隱患，要及早除掉。張學痕中了奸計，但仍猶豫不決，六次擲銀元問卜后才下了殺楊的決心。

1929年1月10日晚，楊宇霆下班回家，聽說有帥府請他去打牌的電話，沒有吃飯便驅車前往。誰料一進帥府，就同黑龍江省長常蔭槐一起人車被扣，以吞扣軍餉，貽誤戎機，圖謀不軌等莫須有的罪名，被張學良事先安排好的警務處長高紀毅、副官譚海等槍殺在帥府會客廳東大廳(老虎廳)。事后，張學良對自毀長城之舉悔恨莫及，命統帶劉多荃給楊、常兩家各送去慰問費一萬元，并親自給在法國留學的楊宇霆的長子春元去信，安慰他安心學習。

楊宇霆是個煙酒不沾，沒有嗜好的正統軍人，一生自負好勝。年輕時，為練騎術，半夜偷著騎馬被戰馬咬傷。領兵后，對違例士兵不論親疏，嚴加處罰。輔佐張作霖時，則以皇帝與宰相自勉，視主不二。他有秘書，卻經常親自批閱文件到深夜。但他心胸狹窄，對自己不睦的人從不寬容。他非常迷信，家中常年養著術士，遇事扶乩問卜。老虎廳事件前，他還曾扶乩，得乩語：“雜亂無章，揚長而去。”術士認為乩語不祥，要他多加小心。事有湊巧，不幾天他便死于非命。后來民間這樣傳稱：“炸爛吳(俊生)張(作霖)，楊(宇霆)常(蔭槐)而去。”