哥舒翰，是西突厥哥舒部落人。按突厥的習慣，常常以部落的名稱為姓氏，他的父親是哥舒部落的首領，叫做哥舒道元，曾經(jīng)做過唐代安西大都護府的副大都護，哥舒翰的家族世居安西，他也生在安西大都護府的所在地龜茲。

哥舒翰生在旺族，他家有權有勢，也很有錢財。他在青少年時代，講俠義，好縱酒，凡是別人有求于他，只要他答應了，就一定辦到。當他四十歲的時候，他父親在京城長安去世了，他到長安守孝三年。朝廷任命他去做長安縣尉，縣尉這個官職，相當于今天的縣公安局長。他嫌縣尉太小，無法施展才能，一氣之下，就跑到河西從軍去了。他到河西的首府涼州(今甘肅武威)就投在河西節(jié)度使的門下當一名軍官。不久，王忠嗣接替王侄擔任節(jié)度使，又把哥舒翰提拔為衙將。

哥舒翰喜歡讀書，特別是對《左氏春秋》、《漢書》最感興趣。由于他疏財仗義，下級軍官和士卒們都很敬重他。于是王忠嗣就派他獨擋一面，去擔任大斗軍副使。大斗軍駐防在大斗拔谷(在今甘肅民樂縣東南，甘、青兩省交界處的扁都口)，那里是河西走廊通往青海的捷徑。因防守有功，哥舒翰被晉升為左衛(wèi)郎將。后來吐蕃寇邊，哥舒翰命部下分三隊出擊，拒戰(zhàn)于苦拔海，他自己手持半段槍，身先士卒抵擋敵軍的鋒芒，一路沖殺所向披靡，從此威名遠揚。

天寶六年(公元747年)，他擔任了隴右節(jié)度副使、都知關西兵馬使。隴右，就是今天甘肅的隴山、六盤山以西和黃河以東一帶。關西，就是今天的函谷關或潼關以西的地段。在他到任以前，每到麥熟季節(jié)，吐蕃的酋長就率領部眾到積石軍來搶奪麥子，并且還狂妄地把積石軍稱做“吐蕃的麥莊”，他們可以隨心所欲地搶奪，卻從沒有人敢去阻擋。哥舒翰聽了十分氣憤，他派出兩名將領帶著軍隊去打埋伏，等吐蕃五千騎兵一來，他率領主力從城中奔馳出擊，打得敵人丟盔棄甲，奪路而逃。伏兵四起，直殺得敵人匹馬不還。

哥舒翰有個家奴，名叫左車，年齡只有十五，六歲，臂力過人。每次出戰(zhàn)，他就跟在哥舒翰身邊，每當哥舒翰追上敵人，常常以槍搭在敵人肩頭，一聲大喝，嚇得敵人趕忙回頭，哥舒翰趁他回頭，一槍刺中咽喉，挑起三、五尺高甩到地下，左車躍馬上前割下頭顱，敵軍見了，無不喪膽。