馮玉祥有過顯赫的祖上，根據家譜歷代的記載，他的先祖馮如霖因屢建戰功，在同治七年七月初十的皇帝誥命中，被封為振威將軍，夫人獲一品之殊榮。列祖中的建威將軍雨膏公：“偉哉將軍公忠為國掃蕩煙塵縱橫南北”。松亭公：“幼年好學強壯從軍征南掃北緯武經文”。郁亭公：“壯年從軍功保副將”。藩卿公：“品貌堂堂征南掃北有功不伐有才不狂”。

馮玉祥的家道是何時和因何敗落的，無從考證了，下面的故事從這里開始：

清朝年間，在安徽巢縣竹柯村里，有一個青年泥瓦匠，名叫馮有茂，他就是馮玉祥將軍的父親。

他在富人家做工，抽空“偷師”看少爺學武，自己暗中苦練。一次偶然被教練發現，覺得他很有上進心，征得主人家的同意，收他為徒，邊工邊學，武藝漸漸嫻熟，人也長得身強力大。后來他隨主人家的兒子們參加武試，少爺們都落了榜，而他卻中了武秀才。

馮有茂入伍后，編入朝廷重臣李鴻章淮軍轄下的銘軍。由于他武藝好，銳意進取，很快就成了一名下級軍官，輾轉江蘇、湖北、山東及甘肅等省，受盡跋涉饑困之苦。

馮有茂娶妻游氏，他們共育七個男孩，長子基道，次子基善——即馮玉祥，其余五個兒子小小年紀都因營養不良而夭折了。馮玉祥1882年11月6日(農歷九月二十六日寅時)出生于直隸(今河北)青縣興集鎮。乳名科寶，族名馮基善，字煥章，晚年號濟公，人們都喜歡稱呼他為先生。馮玉祥出生后不久，馮有茂的部隊調往保定，這時他因功已升為相當于連長的后營右哨哨官，他們的家安在離保定城二里遠的康格莊。

馮玉祥幼年不幸的是他的父母染上抽大煙的惡習，屢戒屢犯，戒煙時痛苦不堪的掙扎情景，令他幼小的心靈受到極大傷害，家里經常不得不靠典當衣物和日常用品糊口，等父親開了餉再去贖回來，到月底揭不開鍋了又去當，惡性循環，搞得家徒四壁。他小時從沒穿過新鞋，他所穿的鞋，都是在舊貨攤上買的“二鞋”，就是人家穿過又經鞋匠縫補過的破爛貨。七八歲時，他就要找農活兒幫助家里，大熱天鉆到密不透風的苞米地里，幫人家剝用來喂牲畜的葉子，餓著肚子一干一天，身上劃出道道傷口，汗水一漬，渾身刺痛。雪上加霜的是母親在他12歲時又撇下他們父子病故。他所經歷的苦難，使他對鴉片有切膚之痛，對平民生存的艱辛有親身體會，后來領兵握權，他到處禁煙，與勞苦大眾血脈相連，立志救國救民，一生生活儉樸，這些思想作為，可以說都源自于幼時的環境影響。

馮玉祥一輩子只上過一年三個月的私塾，這是他一生中僅有的一次正規學習。那是在他哥哥去當騎兵后，因學費已交了，他去替補讀完后半段。后來好不容易有個機會，兵營中出了空缺，管帶因與馮有茂日常關系不錯，有心照顧他家生活困難，就說把他兒子補了兵吧，隨手在花名冊上給他寫了個名字馮御香。日后有人說這個名兒太女人味兒了，便又改叫馮玉祥，以后就一直沿用了下來。字煥章還有個來由，那是他認得些字后看《彭公案》，其中有個人叫顧煥章，性極俠義，扶困濟貧，除邪鏟奸，又極孝順父母，友愛兄弟，馮玉祥羨慕他的為人，就把煥章做了別號。

因年紀還小，馮玉祥入伍暫時不用到營服役，但按軍中恩餉制，可以享受每月領餉一份，雖然微薄，對窮家也不無小補。他年紀雖小，卻生得高大壯實，氣力過人，營中人叫他“馮大個子”。12歲時父親奉命修筑大沽口炮臺，他也跟著去了，駐扎在曹頭沽、南港、雙橋等處。離他們施工20里遠的海面上，就停泊著日本軍艦，從那里開炮，可以直接命中大沽口炮臺。馮玉祥經常聽到營里的人議論日本軍艦和外國欺侮中國的事，這種局面，在每個官兵的心上，都投下了恥辱的陰影。

馮玉祥一營人在極其艱苦的條件下整整干了兩年，才修成大沽口炮臺。這一建筑之堅固，堪稱全國首屈一指的海防工程。19尊嶄新的大炮，威風凜凜，都是李鴻章從德國買的。馮玉祥他們對自己的辛勞成果打心眼里感到自豪。可是光緒二十六年(1900年)八國聯軍打進北京，慈禧太后倉皇出逃，李鴻章出頭議和的結果，是與列強簽訂了喪權辱國的《辛丑條約》，其中一條就是拆毀大沽口炮臺，而且以后永遠不準中國再在大沽口設置任何國防工事。各炮臺還沒一試，就要拆毀，消息傳來，馮玉祥內心十分痛苦。從這一刻起，他心中就埋下了有朝一日要雪國恥的決心，并在以后練兵中，都以日本為假想敵。