却说上皇闻李辅国与张后内外比附弄权，心中忍耐不祝一日，肃宗来问安，说了些朝务。上皇道：“从来治国必先齐家，今闻阉奴李辅国附比中宫，怙势作威，汝知之否？”肃宗悚然起应道：“容即查治。”言讫而退。原来张后恃宠骄悍，肃宗因爱而生畏，不敢少加声色。李辅国掌握兵柄，阿附张后，倚势弄权。肃宗虽亦心忌之，只是奈何他不得。故虽承上皇严谕，亦隐忍不发。那知上皇这言语，早被内侍们传入李辅国耳中。辅国密地启知张后，各怀怨怒，相与计议道：“上皇深居宫禁，安知此事。此必是高力士妄生议论，闻于上皇故也。力士为上皇耳目，当图去之，更须使官家莫要常与上皇相见，须迁上皇于西内为妙。”却说上皇所居兴庆宫与民间闾阖相近。其西北隅有一高楼，楼上可见街市。上皇时常临幸此楼。街市过往的人，遥望叩拜。