有一天，郭子仪打算出门，看到有个泥瓦匠正在砌墙，他随口说了一句：你好好修筑，让这墙更牢固一些。

泥瓦匠心直口快，对郭子仪说：数十年来，许多达官显贵人家的墙都是我给砌的，只看到房屋的主人不断更换，墙却依然在，大人尽管放心，我砌的墙，至今还从未倒塌过。

郭子仪听了这些话，幡然醒悟，自己功高震主，迟早会遭到皇帝的猜忌，大臣的嫉妒，遂奏请朝廷，告老回家，辞去了所有的职务，获得了皇帝的恩准。郭子仪退休后，命家人把自家四门大开，朝廷官员、平民百姓可以自由出入，就如同农贸集市一样。

郭家子弟不理解，一再劝阻，郭子仪就对他们说：“咱们家上上下下一千多口，不可能都和我们一条心，一旦哪一天有人心生怨恨，捏造事实诬陷我，郭家人就会大祸临头。如今我们家四门大开，是向世人表明，我坦坦荡荡，没有不敢公开的秘密，如此一来，就不会有人说三道四，造谣生事了。”

郭子仪的担忧不无道理，其位高权重，皇帝唐肃宗早就对他心生猜忌，当年郭子仪大败安庆绪，军中声望极高，完全可以胜任兵马大元帅，但皇帝就是不设置元帅一职。

不仅如此，唐肃宗还派宠信的太监鱼朝恩到军中担任观军容宣慰使，目的就是监督郭子仪。唐代宗即位的时候，觉得功臣名将不好驾驭，干脆削夺了郭子仪的兵权，派他去皇陵负责修建寝殿工程。

郭子仪深知，一堵墙可以保持数十年不倒，甚至数百年不倒，而一个位高权重的高官对权力不放手，想保持一辈子不倒，几乎是不可能的，对自己来说，急流勇退才是明智之举。

郭子仪退休后，不仅自保富贵，也泽及子孙后代，享受功臣后裔的特殊待遇，两年后高寿而终，享年八十五岁。

后来的后来，果如泥瓦匠所说的那样，郭氏后人没有保住汾阳王府，大宅院变成了一座寺庙，更换了新主人。

唐朝末年，诗人张籍路过郭子仪的旧宅院，感慨良多：“汾阳旧宅今为寺，犹有当年歌舞楼。四十年来车马散，古槐深巷暮蝉愁。”