二人谈诗良久，李宪忽然想起一事，说道：“张丞相，说点题外话吧。你为中书令，按说亦非题外话。当初我们兄弟五人联宅而居，京城之人称此处为‘五王宅’，如今三郎当了皇帝，此‘五王宅’就成为皇帝旧邸，我们兄弟在此居住就不相宜了。”
张说颔首道：“殿下所言甚是。按照以往成例，皇帝旧邸需修缮一新后成为皇帝别宫。”
“我们兄弟四人商议，准备联名上奏章，请求圣上为我等另辟新宅，搬出旧府。张丞相以为此举妥当吗？”
“当然妥当，且越快越好。”
张说说到这里，忽然转颜一笑，说道：“殿下今后不可再称下官为丞相，如今姚崇入阁，我等几位已是有名无实。其实殿下近日要搬出旧宅之议，还是与姚崇沟通一下最好。”
李宪没有接腔，遇到这等敏感话题时，他知道选择缄默方为上策。
后两日早朝之时，李宪四兄弟果然联名上了一道奏章，建言退出“五王宅”另辟新宅。李隆基阅罢奏章，唤出工部尚书源乾曜道：“朕准了宁王之奏请，工部可依‘五王宅’现有之格局稍加修缮即可，如今国家大乱之后，亟待休养生息，不宜耗费太多。”
源乾曜躬身答应。
李隆基又道：“‘五王宅’今后更名为‘兴庆宫’，待此宫修缮完毕，朕即搬出太极宫入此宫居住。虽不必大加修缮，必要的营造还是要有的。居中可修建两楼，南面名为‘勤政务本楼’，朕今后就在里面理政；西面的名为‘花萼相辉楼’。”
群臣闻听“花萼相辉楼”这个名字，一时不明白皇帝建此楼的意思。
李隆基马上解释此楼的含义，他唤出李宪说道：“大哥，我们兄弟五人自小就住在一起，今生不可远离。朕想过了，你们搬出‘五王宅’当然可以，然不可远离。此‘花萼相辉楼’即为我们兄弟所建，此为我们日常宴饮相聚的地方，你与五弟可在胜业坊建宅，二哥与四弟在安业坊建宅，你们不在宫中的时候，朕若念起你们，即可登此楼相望。”
群臣一听皇帝原来是这样的心意，想到皇帝如此友悌兄弟，不禁大为感叹。李宪兄弟四人躬身谢恩之后，张说即出班奏道：“陛下友悌兄弟，遥追周公燕兄弟之情。《诗》云，‘棠棣之华，莫如兄弟’，其萼胚依依，正是手足之情相辉之意。臣等感叹之余，颇有艳羡之意。”
姚崇却不是这样想，心想皇帝明似兄弟不舍之意，焉知其是否为了伺察诸王动静，因而要目力所及就近监督呢？看到张说在这里谀词连连，也出班奏道：“陛下，张令的说法臣不敢苟同。怎能起‘艳羡’之意呢？陛下友悌兄弟，定会推恩惠及臣下，此话其实不用多说。”
张说心想让姚崇抓住了自己话中的破绽，既打击了自己，又向皇帝邀宠，委实高明，自己无法反驳，只好顺着说道：“姚公所言甚是。臣乍闻陛下此议，心中不免激**不已，由此话不择言。”
李隆基挥了一下手，微笑道：“罢了，你们不用再说。朕想起太宗皇帝昔日说过，君臣戮力共治，无非使君臣长葆富贵而已。朕这些日子想起这段故事，想起那日处置郭元振和唐绍之事，心中就有了一些想法。按说军容不整，处置此二人并不为错。然郭元振为功臣，且也不能将所有错处归罪于唐绍一人。”
群臣听到皇帝悔悟，不敢言声。
李隆基唤出吏部尚书崔日用道：“崔卿，郭元振现在还没到新州吧？”
新州距长安五千余里，郭元振一家在路上逶迤行走应该行至半途，崔日用据实回答。
李隆基道：“崔卿，吏部速拟授书，起复郭元振为饶州司马；另给予唐绍妻子半禄，聊作补偿吧。”
郭元振的身心却未领到李隆基的这份情意。郭元振被流放出京之始，他心想自己有边功于国，近来又佐皇帝诛灭太平公主之党，当时自己手绾兵权，若非全力支持皇帝，其成功与否肯定要大打折扣，怎么能因为一件小事就翻脸不认人了呢？那日若非张说和刘幽求求情，自己说不定就掉了脑袋！郭元振越想越恼，将所有的怨毒都集于李隆基一身，然差役在侧，若流露出对皇帝怨恨的言语，肯定会掉下脑袋，他只好将怨毒深埋心间，数日之间就染成一病，只好病恹恹地挨在车儿上慢慢行走，病情越来越重。当他行至中途接到驿卒快马送来的起复授书时，拿起看了一眼，喃喃说了一句：“饶州司马？呵呵，我又成六品官了！”饶州是时为下州，司马仅为六品职。郭元振如此未转过心劲儿，三日后忧愤而逝。
李隆基现在宽待郭元振和唐绍，又让群臣感叹一番。
朝会散后，群臣躬身按序退出。姚崇作为宰臣站在前列，按例最后退出。李隆基忽然发现姚崇退行的时候腿脚有些不灵便，就关切地问了一声：“姚卿，你怎么了？”
姚崇慢慢行走至御座下，此时群臣皆退出门外，殿内仅剩下姚崇一名朝臣。李隆基再问道：“姚卿，你昨日还好好的，莫非昨日摔了一跤？”
姚崇摇摇头，说道：“陛下，臣腿脚也就罢了，唯心疼而已。”
李隆基笑了，说道：“姚卿说笑来着。朕尚未听说心疼会致腿脚蹒跚。”
“心疼为大病，那是会影响全身的。”
李隆基关切地说：“如此，朕传太医速来为卿医病。”
姚崇道：“此心病太医是医不好的，唯有陛下能医。”
李隆基此时已明白姚崇是在故弄玄虚，遂正色说道：“姚卿，你有什么话尽管说吧，不用绕弯儿！”
姚崇拱手道：“臣听说张说近来常往‘五王宅’走动，陛下知悉否？”
李隆基点头道：“朕知道。大哥近来颇爱诗律，常与张说研讨诗词格律，大哥近来的诗作进步甚快，其缘于此。”
姚崇摇头道：“张说与宁王探讨诗律，臣也知闻。然臣昨晚间偶然经过‘五王宅’，恰巧看到张说乘一辆车儿未入宁王府，却进入岐王府了。”
李隆基闻言不禁神色大变，岐王李范现为金吾大将军，按例掌管禁军，张说夜入其府，莫非有什么要紧事儿？
李隆基以郡王之身兴起，他与姑姑联手，又与禁军将领交往，终于诛灭韦氏；此后又小心翼翼再清姑姑党羽。其间的阴谋诡计可谓层出不穷，李隆基作为其过程的重要人物，当然明白阴谋诡计的缘由和操作过程。如今张说身为中书令，又是功臣，其与同为功臣的岐王李范相会，其中李范又兼有亲王和禁军统领的身份，两人会面不用说任何话，本身就十分敏感。
李隆基沉吟片刻，说道：“他们果然夜里见面了吗？姚卿，四弟向为粗犷的性子，张说人情练达，他莫非不知如此会有瓜田李下之嫌吗？”
姚崇道：“张说聪颖无比，他焉能不知？他不过暗想夜幕障去身影，如此可以不知不觉，谁知臣因缘凑巧路遇见之。”