刘贺被霍光废黜后，他的生活怎么样呢？
当刘贺进京即位的第二十七日，他来到未央宫承明殿，和群臣一起向上官太后朝拜时，却发现宫门紧闭，他的众多昌邑亲随已经被隔绝在宫门之外。霍光连同其党羽丞相杨敞、车骑将军光禄勋张安世等一起发难，将昌邑群臣二百余人尽数捕拿，送往诏狱。
接着，霍光向上官太后奏言，刘贺种种昏庸淫暴，犯下无数悖逆行径。霍光摄政十余年，又党同伐异，清洗政敌，朝堂百官大都是他党羽，对此岂有不认同的道理？上官太后顺水推舟，正式宣布废去刘贺帝位。
从堂堂天子瞬间沦为罪大恶极之徒，人世间的大起大落莫过于此。眼见大势已去，性命危在旦夕，熟读经史的刘贺灵光一现，用一句话保住了自己的性命：【闻天子有争臣七人，虽亡道不失天下！】
这句话出自儒家典籍《孝经》，是孔子的原话，意思是：「天子如果能有七个敢于向他进言谏诤的臣子，即使无道也不会失去天下！」
【子曰：“是何言矣！是何言矣！昔者天子有诤臣七人，虽无道，不失其天下；诸侯有诤臣五人，虽无道，不失其国；大夫有诤臣三人，虽无道，不失其家；士有诤友，则身不离于令名；父有诤子，则身不陷于不义。故当不义，则子不可以弗诤于父，臣不可以弗诤于君。故当不义则诤之，从父之令，又焉得为孝乎！”】——《孝经》
霍光在历史上原以“不学无术”著称(这个成语的由来)，对此难以对答，只得横蛮道「皇太后诏废，安得天子！」亲自上前，剥下刘贺身上的冠冕绶带，抢走天子玺印，押解他出了宫门。事已至此，刘贺倒是放下了，向西边上官太后的宝座遥遥一拜：「愚戆不任汉事」(我愚昧不明事理，不堪担当大汉天子之任)，洒然而去。
霍光一边假惺惺哭泣“宁负大王，不负社稷”，一边将昌邑诸臣二百余人尽数斩杀，只留下曾多次进言谏诤的郎中令龚遂不死，以回应刘贺的留言。这些人从天子亲随一朝沦为冤鬼，在刑场上大呼“当断不断，反受其乱！”
之后霍光又选中了汉武帝前太子刘据之孙刘病已，即位为帝。正因刘据满门遇害，刘病已此时连爵位都没有，完全没有自家班底，在霍光看来是可让自己任意操纵的更佳选择。刘病已即位后改名刘询，即大汉中宗孝宣皇帝。
昌邑国被废除，刘贺被废为庶人，赐食邑二千户，但允许他保留了从前昌邑王府的家财，和家人一起囚禁于王府中，包括了他的妻妾十一人，奴婢一百八十三人。她们并在之后几年，陆续为刘贺生下了十一个儿子，十一个女儿。
霍光派亲信张敞为山阳郡太守，负责监视刘贺的一举一动。昌邑王府大门紧闭，每日仅开一小门，进奉所需食物，只有张敞可以多次登门拜访，对刘贺察言观色，试探他是否有怨望不臣之心。
汉宣帝即位后，汲取刘贺操切夺权失败的教训，对霍光言听计从，包括糟糠之妻皇后许平君被霍光之妻霍显暗害之事，也强忍下来，并立霍光之女霍成君为继任皇后。
一直到霍光死后三年，(公元前65年)大权在握的汉宣帝才正式发难，将霍光一门灭族，并废霍皇后。而对囚禁于昌邑王府的废帝刘贺，宣帝既有相当程度的防范，恐怕亦不乏同病相怜的同情。因此，当张敞奏知刘贺被囚禁多年后，“身患风湿、行走不便、举止痴傻，毫无仁爱之心”后，汉宣帝对刘贺这个“前任”不免动了恻隐之心，封刘贺为海昏侯，封给扬州豫章郡海昏县四千户封地，结束了他十多年的囚徒生涯。
刘贺拖家带口来到鄱阳湖畔，犹如“海阔凭鱼跃，天高任鸟飞”，在一片南疆僻野，用心经营自己的小小侯国。他耗费原昌邑王府巨资，大兴土木建起一座紫金城，作为自己的居所，并将中原地区的诗书典籍、先进技术和文明传播到当时尚属蛮荒的赣越之地。
