安禄山到东京后，两目俱盲，不见一物，心中焦躁，性情愈加暴厉，左右供役之人稍不如意，即痛加鞭挞，有时竟杀死。他有个贴身内监名叫李猪儿，日夕不离左右，所以受挞最多。还有严庄本来是他的亲信大臣，一言不合也被鞭挞，因此内外诸人都怀怨恨。
安禄山深居宫禁，文武将官罕得见面。他原来立安庆绪为太子，后来爱妾段氏又生一子，名叫庆恩。安禄山因爱其母并爱其子，意欲废庆绪而立庆恩为嗣。
安庆绪因为失爱于父，时遭鞭挞，心中惊惧，计无所出。乃私召严庄入宫，屏退左右密与商议。严庄也常受安禄山鞭挞之苦，心中忿恨不过。今日见他来求计，就故意沉吟不语。庆绪再三请问，严庄慨然发叹道：“主上既然宠爱段氏，自然偏爱段氏之子了。殿下别说承继大位，恐怕性命也难保呢。”庆绪大惊道：“我是嫡出之子，不能承袭大位已是可恨，怎能并丧其身呢！”严庄道：“殿下若束手，则必至于死；若欲不死，就束不得手了。”庆绪低头一想便道：“先生深为我谋，敢不敬从。”
于是严庄置酒于密室，邀李猪儿过来小饮。严庄笑问道：“足下近日又领过多少鞭子了？”李猪儿忿然道：“不要说起！我前后所受鞭子无数，也不知道何日是了？”严庄道：“莫说足下，即如大臣、太子，也屡被鞭挞。主上恁般作为，岂是待臣之道？如今天下未定，万一内外人心离散，大事去矣！”李猪儿道：“太子还不知道哩！今主上已怀废立之意，将来还有不可知之事。”严庄道：“太子岂不知之，日间正与我共虑此事。我想太子为人仁厚，若得他早袭大位，我和你都有好处。”李猪儿摇手道：“主上如此暴厉，谁敢进言让他禅位？”严庄道：“我是大臣，或者不至于被害死。足下屈为内侍，将来不止于鞭挞，说不定会送了性命。”李猪儿听后不觉攘臂拍胸道：“人生在世总是一死，与其无罪被戮，不如拼个你死我活，也还留名于世！”严庄引他说出此言，不由抚掌而起说道：“足下果能行此大事，不仅不至于死，还有可能做个佐命功臣哩！只是你主意已定否？”李猪儿道：“我意已决，但恐非太子之意。”严庄道：“不瞒你说，我已问过太子了。太子因为失爱于父怕有祸患，和我说过：‘凡事任你们去做罢。’我想足下必与我同心，所以特地约你来相商。”李猪儿道：“既然如此，事不宜迟，明夜我便动手。”言毕作别而去。
次日黄昏时候。庆绪与严庄各带短刀托言奏事，直入便殿门来。值殿官不敢阻挡。安禄山此时安寝于帏帐之内，不防李猪儿持刀突入。安禄山方欲问时，李猪儿已经揭去其被。说时迟，那时快，李猪儿把刀直砍他的肚腹，那肠子已经流出数斗，安禄山大叫一声而亡。
安禄山被杀，左右侍者正在惊骇，严庄喝叫不许声张。接着令人就床下掘地数尺，以毡裹其尸而埋之，戒宫中不要泄漏。次早宣言安禄山病危，遗命传位于庆绪。段氏与庆恩赐死。于是安庆绪即位，伪尊安禄山为太上皇。
不久安禄山部将史思明杀死安庆绪，重新攻陷洛阳，也称大燕皇帝。后来史思明又被他的儿子史朝义杀害。唐朝再借回纥兵收复洛阳，史朝义自杀，“安史之乱”才告结束。
至德二年（757年），李隆基由成都返回长安，居兴庆宫。
玄宗不再过问政事，侍候他的仍是龙武大将军陈玄礼与内侍监高力士，另外还有玄宗的亲妹妹玉真公主与旧时宫女陪他娱乐。玄宗对杨贵妃之死耿耿于怀，他从成都回来后就派人去祭悼她；后来又想改葬，遭到宦官李辅国的反对。
上元元年（760年），李辅国为了立功以固其宠，上奏肃宗说：“上皇居兴庆宫，日与陈玄礼高力士等人交通，今六军将士都是灵武勋臣，心里惴惴不安，臣晓喻不能解，不敢不以闻。”肃宗无言以对。
这年七月，李辅国乘肃宗患病之机，矫诏强行把玄宗迁居到甘露殿。事后肃宗不但没有责怪李辅国，反而安慰了他几句。
不几天，高力士以“潜通逆党”的罪名被流放于巫州；陈玄礼也被勒令致仕；玉真公主出居玉真观。肃宗另选百余人到西内服侍玄宗。后人说玄宗晚年凄凉无比，可是与平民百姓相比，不知道要快乐多少倍了。
宝应元年农历四月五日，李隆基驾崩，终年78岁。