裕固族的祖先可以追溯到公元前3世紀(jì)的丁零、4世紀(jì)的鐵勒和居住在色欏格河和鄂爾渾河流域的回紇。回紇是東部鐵勒(亦稱狄歷、敕勒、高車)的六大部之一。后來東部鐵勒在反抗東突厥汗國的斗爭中，形成了以回紇為核心的部落聯(lián)盟，被稱為“九姓鐵勒”或簡稱“九姓”。8世紀(jì)中葉，回紇擊敗突厥在烏德勒山(今杭愛山支系)、溫昆河(今鄂爾渾河)建立回紇汗國。9世紀(jì)中葉，回紇汗國為黠戛斯所破，回紇各部四處遷徙，其中一支投奔河西走廓，與早先遷來的部分回紇匯合，在這里生息繁衍，成為當(dāng)今之裕固族。裕固族自稱“堯乎爾”，一般認(rèn)為這一名稱與歷史上的“黃頭回紇”和“撒里畏兀”有密切關(guān)系。“黃頭回紇”是宋朝初期出現(xiàn)于塔里木盆地東南部的回紇分支。元初，在黃頭回紇居住的地區(qū)，又出現(xiàn)“撒里畏兀”的族名。現(xiàn)在公認(rèn)，元朝的撒里畏兀就是宋朝的黃頭回紇。

元朝蒙古人征服撒里畏兀后，在其地設(shè)立官府，進(jìn)行統(tǒng)治。元朝崩潰，河西走廊又歸明朝管轄。明朝十分重視邊境的穩(wěn)定，仍然任用元朝的降將鎮(zhèn)守邊疆。封撒里畏吾地區(qū)的元將卜煙帖木爾為安定王，并在撒里畏吾地區(qū)設(shè)置具有軍事性質(zhì)的行政單位：安定、阿端、曲先三衛(wèi)，加上敦煌東南部的罕東衛(wèi)，合稱“遠(yuǎn)番四衛(wèi)”統(tǒng)歸西寧衛(wèi)管轄。

十五世紀(jì)中葉，各衛(wèi)之間不斷發(fā)生戰(zhàn)爭，特別是吐魯番日益強(qiáng)大以后，頻繁侵?jǐn)_各衛(wèi)，關(guān)外各衛(wèi)相繼崩潰，紛紛要求向關(guān)內(nèi)遷徙。

十六世紀(jì)初，撒里畏吾人開始東遷。入關(guān)以后，裕固族又被稱為“黃番”。清朝康熙年間，被劃分為七族，即：大頭目家、楊哥家、五格家、八格家、羅兒家、亞拉格家、賀郎格家。大頭目被封為“七族黃番總管”賜以黃馬褂和紅頂藍(lán)翎子帽。

民國時期，被稱為黃番的裕固族又分為兩族，一族稱黃黃番，即今日說屬于阿爾泰語系蒙古語族語言的一部分人;另一族稱黑黃番，即今日說屬于阿爾泰語系突厥語族語言的一部分人。1953年甘肅省酒泉專署主持召開了“祁連山北麓各族各界人士座談會”，會議統(tǒng)一了裕固族的民族名稱。大家充分討論后同意定名為與自稱“堯乎爾”音相近的“裕固”二字作為族名，兼取漢語“富裕鞏(堅(jiān))固”之意。