前63年，刘询给刘贺晋封为海昏侯。侍中、卫尉金安上书说：“刘贺是上天抛弃的人，陛下至仁，又封为列侯。刘贺是个愚顽废弃之人，不应该奉行宗庙及入朝行朝见天子之礼。”刘询听取了大臣的建议将刘贺调配到了封国豫章。
不久，霍光召集丞相、御史、将军、列侯等朝廷大官至宫中，共商废黜刘贺之事。闻听霍光要废黜皇帝，众人惊愕失色，没人敢发言。只有田延年手握宝剑，附和霍光之意。接下来，群臣同意了霍光的意见。霍光又将此事告知皇太后，皇太后勉强同意。霍光当即将刘贺从封国带来的200多名心腹官宦一网收捕，下了狱。
解决了刘贺的心腹后，皇太后召见刘贺，并布置禁兵把守宫中。待皇太后责问刘贺之时，霍光等出班奏本，并由尚书令宣读刘贺的恶状，指陈他即位以来仅27天，就做下了1127件荒唐事。当尚书令读到刘贺“当废”时，皇太后当即表示同意。霍光随即上前，解脱其玉玺，奉献给皇太后，转身扶刘贺下殿。
刘贺离开了尚未坐热的帝位，被押送到始封地昌邑，从此便再也没有消息。
几年后，故太守卒史孙万世问刘贺，“从前被废时，为什么不坚守不出宫，斩大将军，却听凭别人夺去天子玺印与绶带呢?”刘贺说：“是的。错过了机会。”孙万世又认为刘贺将在豫章封王，不会久为列侯。刘贺说：“将会这样，但不是应该谈论的。”刘贺这些话很快就传到刘询的耳朵里，刘贺随即被官兵俘虏。之后，刘贺被刘询削去三千户食邑，没多久就去世了。
刘贺墓位于江西省新建县大塘坪观西村墎墩山。刘贺的身份极为复杂，既当过皇帝又当过王和侯，在历史上比较少见，所以墓葬有可能是按照皇帝级别的规格下葬的。由于主墓室还没有进行发掘，所以这一切都只是初步的推断，如果墓主人真是刘贺的话，那么附近城池的遗址应该就是海昏侯都城的遗址。
专家们称野史记载，刘贺在鄱阳湖上曾往返棹舟浮江，至赣水口愤慨而还，后人称此地为“慨口”。
由于400年后的晋大兴二年这里发生大地震，鄱阳湖底此时发生剧烈的地质运动，鄱阳湖与长江分离，只留下湖口入江，地理变化太大，所以已无人知道“慨口”在什么地方，只留下历史的烟云飘渺往还。
