但是，唐肃宗李亨对自己的父亲还是不太放心，他身边的太监李辅国趁机挑拨，对唐肃宗说：“太上皇在兴庆宫，整天面见外边的大臣，这对陛下您可不太有利。”后来唐肃宗也生了重病，李辅国假冒唐肃宗的旨意，强行把唐玄宗迁往荒凉的太极宫，在路上甚至对唐玄宗进行羞辱，幸亏忠心耿耿的高力士挺身而出，怒斥李辅国。
没过多久，玄宗身边的亲信就遭到清洗：高力士被流放；陈玄礼被勒令退休；玉真公主也被送去道观出家。剩下玄宗孤零零一个人，身边一个能说话的人都没有，他的儿子唐肃宗也病危。唐玄宗的心情越来越差，吃得也越来越少，最后在孤独中病逝了。仅仅过了十几天，唐肃宗也病逝了。
唐玄宗既开创了唐朝的最高峰“开元盛世”，又把唐朝带入了战乱和衰落，他的功过，都留给后人去评说。