公元前74年6月5日，漢昭帝駕崩，享年21歲。因?yàn)闊o子，7月18日，大將軍霍光等人迎立昌邑王劉賀即位。據(jù)《漢書·霍光金日磾傳》載劉賀罪行“受璽以來二十七日，使者旁午，持節(jié)詔諸官署征發(fā)，凡千一百二十七事?！眲①R在即位二十七天內(nèi)，就干了一千一百二十七件荒唐事，平均一天四十件。

然而事實(shí)上，這只是霍光等大臣的托詞。真實(shí)的原因恐怕是劉賀即位之后，急于提拔自己從昌邑帶來的僚屬，忽視了朝中重臣，得罪了以霍光為首的西漢上層統(tǒng)治階級(jí)中的官僚集團(tuán)。憑借羅列上述所謂的罪行托詞，霍光以其不堪重任，突然發(fā)動(dòng)政變，與大臣奏請(qǐng)15歲的皇太后(即孝昭皇后上官鳳兒，大將軍霍光的外孫女)下詔，于8月14日廢黜了劉賀，并親自送他回到封地昌邑(今山東省巨野縣昌邑鎮(zhèn))，保留王號(hào)(昌邑王)，令其食邑二千戶。同年，霍光尊立衛(wèi)皇后(衛(wèi)子夫)唯一曾孫、戾太子劉據(jù)唯一的遺孫、18歲的劉詢?yōu)榈郏菫闈h宣帝。

霍光新?lián)砹⒌臐h宣帝劉詢心底到底有些忌憚，在即位的第二年就讓山陽(yáng)太守張敞考察劉賀，發(fā)現(xiàn)他的“囚徒”生活很卑微不堪，公元前66年，他年紀(jì)雖然只有27歲，可是行動(dòng)不便，也不再有復(fù)辟的打算。還生養(yǎng)了22個(gè)子女，猥瑣度日。漢宣帝看他如此可憐，保全了他的性命。

元康二年(公元前64年)，霍光寫信給山陽(yáng)太守張敞：“謹(jǐn)備盜賊，察往來賓客。毋下所賜書?！币螽?dāng)?shù)毓賳T密切監(jiān)視劉賀。從各種證據(jù)看來，劉賀之立廢，實(shí)乃削權(quán)之舉。

元康三年(公元前63年)，劉賀被貶斥到了今天的江西省永修縣一帶做了“?；韬睢薄?/p>

在他的這個(gè)侯國(guó)里面，他又艱難地生活了4年直到去世。這4年中，雖然已經(jīng)解除軟禁，但仍然被周邊的官吏秘密監(jiān)督，例如后來的揚(yáng)州刺史“柯”就上報(bào)朝廷一件事情：劉賀與一個(gè)叫“孫萬(wàn)世”的人交往，孫萬(wàn)世問劉賀：“在被廢除皇位前，君為什么不堅(jiān)守內(nèi)宮、關(guān)閉宮門，斬殺霍光，卻聽?wèi){他們奪取皇位璽綬呢？”劉賀說：“是啊，當(dāng)時(shí)太年幼，真是大大的失策啊?！睂O萬(wàn)世又希望劉賀做“豫章王”，絕不要一直做這么普通的?；韬?。劉賀說：“道理是如此，但是這話不宜說啊。”于是朝廷下令查辦劉賀，差點(diǎn)要逮捕他。皇帝發(fā)話說：“那就削除他的3000戶封邑吧?！庇谑侵皇Ｏ?000戶人口與賦稅，不久劉賀憤慨而死，年僅34歲。