初，賀在國時，數有怪。嘗見白犬，高三尺，無頭，其頸以下似人，而冠方山冠。後見熊，左右皆莫見。又大鳥飛集宮中。王知，惡之，輒以問郎中令遂。遂為言其故，語在《五行志》。王卬天歎曰：「不祥何為數來！」遂叩頭曰：「臣不敢隱忠，數言危亡之戒，大王不說。夫國之存亡，豈在臣言哉？願王內自揆度。大王誦《詩》三百五篇，人事浹，王道備，王之所行中《詩》一篇何等也？大王位為諸侯王，行汙于庶人，以存難，以亡易，宜深察之。」後又血污王坐席，王問遂，遂叫然號曰：「宮空不久，□祥數至。血者，陰憂象也。宜畏慎自省。」賀終不改節。居無何，征。既即位，後王夢青蠅之矢積西階東，可五六石，以屋版瓦覆，發視之，青蠅矢也。以問遂，遂曰：「陛下，之《詩》不雲乎？『營營青蠅，至於籓；愷悌君子，毋信讒言。』陛下左側讒人眾多，如是青蠅惡矣。宜進先帝大臣子孫親近以為左右。如不忍昌邑故人，信用讒諛，必有凶咎。願詭禍為福，皆放逐之。臣當先逐矣。」賀不用其言，卒至於廢。
大將軍光更尊立武帝曾孫，是為孝宣帝。即位，心內忌賀，元康二年遣使者賜山陽太守張敞璽書曰：「制詔山陽太守：其謹備盜賊，察往來過客。毋下所賜書！」敞於是條奏賀居處，著其廢亡之效，曰：「臣敞地節三年五月視事，故昌邑王居故宮，奴婢在中者百八十三人，閉大門，開小門，廉吏一人為領錢物市買，朝內食物，它不得出入。督盜一人別主徼循，察往來者。以王家錢取卒，□宮清中備盜賊。臣敞數遣丞吏行察。四年九月中，臣敞入視居處狀，故王年二十六七，為人青黑色，小目，鼻末銳卑，少鬚眉，身體長大，疾痿，行步不便。衣短衣大絝，冠惠文冠，佩玉環，簪筆持牘趨謁。臣敞與坐語中庭，閱妻子奴婢。臣敞欲動觀其意，即以惡鳥感之，曰：『昌邑多梟。』故王應曰：『然。前賀西至長安，殊無梟。複來，東至濟陽，乃複聞梟聲。』臣敞閱至子女持轡，故王跪曰：『持轡母，嚴長孫女也。』臣敞故知執金吾嚴延年字長孫，女羅紨，前為故王妻。察故王衣服言語跪起，清狂不惠。妻十六人，子二十二人，其十一人男，十一人女。昧死奏名籍及奴婢財物簿。臣敞前書言：『昌邑哀王歌舞者張修等十人，無子，又非姬，但良人，無官名，王薨當罷歸。太傅豹等擅留，以為哀王園中人，所不當得為，請罷歸。』故王聞之曰：『中人守園，疾者當勿治，相殺傷者當勿法，欲令亟死，太守奈何而欲罷之？』其天資喜由亂亡，終不見仁義，如此。後丞相禦史以臣敞書聞，奏可。皆以遣。」上由此知賀不足忌。
其明年春，乃下詔曰：「蓋聞象有罪，舜封之，骨肉之親，析而不殊。其封故昌邑王賀為海昏侯，食邑四千戶。」侍中衛尉金安上上書言：「賀，天之所棄，陛下至仁，複封為列侯。賀□頑放廢之人，不宜得奉宗廟朝聘之禮。」奏可。賀就國豫章。
數年，揚州刺史柯奏賀與故太守卒史孫萬世交通，萬世問賀：「前見廢時，何不堅守毋出宮，斬大將軍，而聽人奪璽綬乎？」賀曰：「然。失之。」萬世又以賀且王豫章，不久為列侯。賀曰：且然，非所宜言。」有司案驗，請逮捕。制曰：「削戶三千。」後薨。
豫章太守廖奏言：「舜封象於有鼻，死不為置後，以為暴亂之人不宜為太祖。海昏侯賀死，上當為後者子充國；充國死，複上弟奉親；奉親複死，是天絕之也。陛下聖仁，于賀甚厚，雖舜於象無以加也。宜以禮絕賀，以奉天意。願下有司議。」議皆以為不宜為立嗣，國除。
元帝即位，複封賀子代宗為海昏侯，傳子至孫，今見為侯。
贊曰：巫蠱之禍，豈不哀哉！此不唯一江充之辜，亦有天時，非人力所致焉。建元六年，蚩尤之旗見，其長竟天。後遂命將出征，略取河南，建置朔方。其春，戾太子生。自是之後，師行三十年，兵所誅屠夷滅死者不可勝數。及巫蠱事起，京師流血，僵屍數萬，太子子父皆敗。故太子生長于兵，與之終始，何獨一嬖臣哉！秦始皇即位三十九年，內平六國，外攘四夷，死人如亂麻，暴骨長城之下，頭盧相屬於道，不一日而無兵。由是山東之難興，四方潰而逆秦。秦將吏外畔，賊臣內發，亂作蕭牆，禍成二世。故曰「兵猶火也，弗戢必自焚」，信矣。是以倉頡作書，「止」「戈」為「武」。聖人以武禁暴整亂，止息兵戈，非以為殘而興縱之也。《易》曰：「天子所助者順也，人之所助者信也；君子履信思順，自天祐之，吉無不利也。」故車千秋指明蠱情，章太子之冤。千秋材知未必能過人也，以其銷惡運，遏亂原，因衰激極，道迎善氣，傳得天人之祐助雲。