刘贺集结昌邑旧臣，在大殿上寻欢作乐。龚遂冒死进谏，谏言专心国事，以安天下。刘贺倒也没有拒绝，让其余人退下。龚遂苦心劝谏，率先做出表率交出牌，请辞离开长安回昌邑。转身离开时见到了王衡，龚遂冷哼一声，大概认为刘贺如此昏头是拜他所赐。

之后王衡叫来许多文官，手中把持有他们的把柄，命令他们跟他一起罢黜霍光。王衡把未来霍光会对他们所做之事一一说出，以此先发制人拉拢这些人到麾下。当然王衡也不会要他们做什么，只需要他们在霍光拉拢时别站在霍光那一边，往后尽心辅佐新帝即可。

刘贺将霍光召进宫，将箭对准了霍光。霍光丝毫不畏惧，径直朝刘贺走来。刘贺藏起眼里的杀意，继续跟霍光演着戏。刘贺说想出城狩猎，希望得到霍光的首肯。霍光同意让他出城狩猎，但却让霍禹同行，美其名曰霍禹骑射剑术均可。

出城狩猎前一晚，仍有许多官员游说霍光废帝，霍光被劝动。既然有前朝典范在先，他便不再犹豫，打算拨乱反正废除刘贺这个刚上位二十七天的新帝。田延年按照霍光的吩咐，连夜前去丞相杨大人及其他官员府上游说。杨大人的夫人也劝他听大司马大将军的话，杨大人想起此前王衡所说，一时陷入了两难之地。

霍光派去的人已经查明吴城村里有游侠，他下令不留活口。