漢平帝元始三年(公元3年)，劉秀九歲的時候，他的父親劉欽因思慮國事家事，身心交瘁，積勞成病，竟一病不起，在汝南郡南頓縣令的任上去世了。

劉欽的死對孤兒寡母的打擊是非常沉重的。從此失去生活來源的母子沒有辦法在南頓呆下去了，劉秀的母親樊嫻都便在小叔子蕭縣令劉良的護送之下，帶著劉秀和劉伯姬回到了家鄉——舂陵。

在舂陵的樊嫻都根本無力撫養六個子女。最后還是劉良拿主意，他帶著劉縯、劉仲、劉秀三兄弟去了蕭縣，送入當地小學讀書，而樊嫻都則領著三個女兒在舂陵勉強度日。

劉秀和哥哥們跟著叔父在蕭縣生活了好幾年，隨著他們年齡的增長，叔父劉良的生活愈加困難，劉秀弟兄們不忍心再拖累叔父，就回到了舂陵老家務農。

劉秀性情溫和，喜歡在田野間嬉戲，劉家的佃農不免要照應著他。時間長了，劉秀漸漸對農桑稼穡產生了濃厚的興趣。哥哥劉縯的性格與劉秀恰恰相反，對田園生活毫無興趣，專喜歡交朋結友、弄俠使氣，養著不少鄉間豪悍的少年做賓客。他對弟弟與世無爭的生活態度很看不慣，常常笑話他沒有出息，天生是個做農夫的材料，與劉邦的兄長劉仲頗為相似。

在劉家兄弟過著田園牧歌生活的同時，漢王朝卻早已岌岌可危，朝政很長時間都把持在外戚王氏手中。王莽則是此時王氏家族的代表，他是漢元帝的皇后王政君的侄子，公元前一年，王莽做到了大司馬錄尚書事，登上了一人之下萬人之上的位置。

王莽先后通過大封官爵、擴太學、改革賑災等措施取得了地主豪強、文人以及眾多百姓的支持。這時皇帝的名號雖然還在劉氏的頭上，但是實際上已經成了王莽的傀儡。劉氏一族自然不愿意失去劉氏的天下，公元六年，安眾侯劉崇起兵反對王莽，公元七年，身居東郡的劉信也起兵反莽，他們先后被王莽鎮壓了。

公元八年，王莽終于廢掉了漢皇帝，宣布由自己即天子位，國號為新，以王氏王朝取代了劉氏王朝。開始王莽還拉攏善待劉氏，但到了新始建國二年( 公元10年)，篡奪漢政的王莽，唯恐劉姓余波再起，干脆繳回漢諸侯王璽綬。劉姓諸侯王三十二人、列侯一百八十一人同日遭貶，廢為庶人。

王莽廢漢，劉氏的皇族身份沒有了。劉良的特權地位不復存在，只有回老家和劉秀兄弟一起務農。從此他們開始過起了老百姓的生活，親身體驗到了農民的困苦和艱辛。

雖然按當然的制度，劉欽和劉良都有資格享受朝廷的退休津貼，但無奈級別太低，朝廷發的那幾塊散碎銀子根本不夠一大家人操持吃喝的。就算劉良不說，劉家三兄弟心里也是明白的，叔父對他們已經夠照顧的了，總不能靠叔父一輩子。

父親不在了，作為長兄的劉縯理應挑起生活的重擔。但劉縯生來有著遠大的志向，他對于干農活沒有半點興趣，他最大的愛好是交結天下豪杰，喜歡暢談天下大事，不屑于料理家中的田地。家中所有的農活便只能由二弟劉仲和三弟劉秀來承擔。

劉秀知道這是大哥的性格，他了解大哥的遠大志向，只好和二哥一起，默默的挑起生活的重擔，供著大哥在外面風光。劉仲是個老實巴交的農夫，他只會埋頭種田，其他的一概不管。

而劉秀從小就對農活用心，很會照顧打理田地，他家的田即使在大旱的年景也能有個好收成，而別人家很可能顆粒無收。在這樣的年景下，糧食十分金貴。劉秀雖然不像大哥每天只想著大事，他卻也不是真的只懂種田。他有非常發達的生意頭腦，借著現在糧食的稀缺金貴，便每次打完糧后，劉秀留下家里吃的，就趕著牛拉著糧食到周邊市鎮販賣。

本來當時時局動蕩糧食比較緊缺，加上劉秀為人忠厚和善，做買賣誠實守信，價格公道，所以劉家的糧食銷路非常好。很快，劉秀就為家里攢下了一筆很豐厚的積蓄。劉家慢慢從父親劉欽逝世的陰影中走了出來。

劉秀不僅會做買賣，更重要的是他非常會做人，劉秀平時樂于助人，鄉里鄉親的誰家有困難，劉秀都會盡力幫忙，從不說二話。史載，劉秀“品行純美，有君子之風。”在當地贏得了非常好的口碑，鄉親們一提劉家老三，各個都贊不絕口。