文帝幸臣除邓通外，还有一个就是赵谈，文帝常使之骖乘，赵谈喜欢在文帝前搬弄是非。因为中郎将袁盎直言敢谏，赵谈不喜欢他，便时常在文帝前说他过失，袁盎甚是忧虑。袁盎侄子袁种为常侍骑，知道袁盎心事后便献计道：“君可当着大廷广众之面羞辱赵谈，让主上知道你与他有仇，纵有毁谤，定不见信。”袁盎便等候机会行事。
一日文帝将去长乐宫朝见太后，仍命赵谈骖乘。车驾出得宫门，袁盎走到车前俯伏奏道：“臣闻与天子同车之人必是天下豪杰，今陛下奈何与刀锯之余一车共载呢。”文帝听了大笑，即命赵谈下车。赵谈羞得无地容身，含着涕泣走下车来。以后赵谈每谮袁盎，文帝以为两人有私怨，也就不肯相信了。
约莫过了年余，文帝忽然得病，医药罔效竟至弥留。太子启入侍榻前，文帝顾语后事，且谆嘱太子道：“周亚夫缓急可恃，将来如有变乱，尽可使他掌兵，不必多疑。”太子刘启涕泣受教。文帝瞑目归天，享年四十六岁。
刘启即日嗣位，是为景帝。尊太后薄氏为太皇太后，皇后窦氏为皇太后。
景帝这时记起旧怨，便将邓通免官。邓通虽然失官，财产富足，尚可在家享福。偏有人出来告发，说他私出边外铸钱。景帝交官吏审问。官吏因他是富人，正可借此鱼肉。又得知景帝怨他，便迎合上意吹毛求疵，做成罪名，将他所有家产全部没收入官，又说他欠官款数万。邓通出得狱来家破人散，衣食毫无。文帝女馆陶长公主念邓通是父亲最爱的人，见其情景可怜，便时常赐以钱物。却被官吏闻知，每遇邓通得了赏赐，便说他尚欠官款，不得私蓄钱物，将其尽数没收，邓通丝毫不得享受，连一条簪子都不能带在身上。馆陶长公主也没办法，只得私下给与衣食，邓通有一餐，无一餐，最后真的饿死在街头。