1905年4月7日，關麟征出生于陜西鄠縣真花硙村一戶普通的農民家中，父親關樹銘，母親楊氏，繼母賈氏，兄妹六人，關家世代務農，家業中等。關志道幼時在本村私塾讀書，九歲轉到鄰村小學，因關父對其期望甚殷，不久被送到鄠縣高等小學讀書，畢業考試成績第一，卻因平時愛打抱不平，經常打架而被降為第二名進入陜西省立第三中學，校長對人說：“這孩子將來成器就是楊六郎;不成器就是賣麻糖。”當時老師問他的志愿，他因見戶縣城里駐了一連兵，那位連長很是威風，故答：“希望將來當個連長。”

關麟征15歲小學畢業后，來到省城西安，考進省立第三中學。那時鎮嵩軍劉鎮華在西安舉辦講武堂，他每次路過講武堂門口，見講武堂照壁上寫著斗大的“奮斗”兩字，心里非常羨慕。可是他是個窮學生，沒有背景，不得其門而入，只有望堂興嘆而已。后因家中迭遭變故，負債累累，中途輟學。他決心棄文學武，投軍從戎，更希望能掙錢幫助家庭還債。

這時，省立第三中學也有兩個學生想去當兵，他們設法弄到一封去耀縣投奔鎮嵩軍某營長的介紹信，于是就邀關麟征一起去。到耀縣，他們在駐軍營部遞進了介紹信，等候了一個星期，連營長的影子也沒有見到。原來他們不懂門道，沒有送禮，光憑一紙空文是不能解決問題的。三人只好乘興而來，敗興而歸，重返西安。

1924年初，關麟征的一位朋友鄧毓玫悄悄告訴他，孫中山先生在廣州開辦一所軍官學校，秘密招生。他們弄到一張胡景翼處簽發的署名鄧毓玫和吳麟征的護照，吳嫌廣東太遠不想去，他問關麟征想不想去廣州投考軍校，如果愿去，只要將護照上的吳改成關就行了。這一消息使他喜出望外，立即答應。他回家稟明情況，攜帶父親賣牲口的25塊銀圓作為旅費，把護照上的“吳麟征”改為“關麟征”，從此，關志道就改名關麟征了。就這樣他順利進入了黃埔軍校第一期。

他們從西安步行到河南靈寶，換乘火車到了上海，找到了同盟會元老，陜西同鄉于右任。于問他們：“你們為什么要當兵？”那時，他根本不懂什么是“主義”、“革命”，只好老實回答：“當軍官威風。”于右任被關麟征純樸憨厚的回答逗笑了，簡單地向他們講解了孫中山組織革命隊伍反對北洋軍閥，進行國民革命的道理。不久，他們11人(包含杜聿明、張耀明)從于右任處取得了秘密介紹信，買舟南下廣州。

1924年4月到達羊城，后乘船去黃埔島，入國民黨陸軍軍官學校(黃埔軍校)，為第一期學員，他被編為第三隊，并參加了中國國民黨。5月5日開始第一期新生入伍，6月16日舉行開學典禮，關麟征和新學員一起聆聽了孫中山先生的講演。孫中山勉勵學員不僅要做一個有高度才能的軍人，而且要做一個不怕苦、不怕死的軍人。他的話，對關麟征以后的戎馬生涯產生了重要影響。在軍事教育課程方面，他學習了典、范、令和四大教程，并從事軍事操練和實戰演習，為以后征戰疆場奠定了初步基礎。