1959年“庐山会议”后，彭德怀被解除了军队内的职位，由于他不再是中央领导的一员，组织便安排他搬出中南海，住进吴家花园。
彭德怀一直销声匿迹到1965年，中央才安排他去西南工作，庐山会议后的这几年，彭德怀到底在做什么呢？
晚年杨尚昆在回忆录里提到了彭德怀的这几年，他感慨万分地说道：“当时主席让我一个月去看望彭德怀两次，了解他的思想动态，我算是最了解他那几年情况的人……”
彭德怀搬进吴家花园后，毛主席还专门找彭德怀谈了一次话，说是谈话，更像是一次“批评会议”，当时周总理、刘少奇、陈云等中央领导同志都在现场。
主席语重心长地对彭德怀说道：“这未必是一件坏事，有了更多的时间学习和阅读，可以多看看马克思主义哲学、政治经济学的书。”
会议结束后，毛主席又邀请众人在家中吃了午餐，彭德怀才依依不舍地离去。
吃过饭后众人都离开了，唯独杨尚昆留了下来，主席叫来杨尚昆，叮嘱道：“你每个月最少要去看望彭德怀同志两次，了解他的思想动态，帮他解决生活和学习上的一些问题。”
杨尚昆记住了主席的叮嘱，不仅安排彭德怀去党校学习，每个月都会定期去看望他，帮助彭德怀解决生活上的一些问题，几乎每次过去，彭德怀都会交给杨尚昆一封信，由他代为转交毛主席。
当时毛主席并没有放弃彭德怀，一直惦记着让彭德怀出来工作，主席还专门找到杨尚昆，询问他是否要安排彭德怀出任农垦部部长，如果彭德怀愿意出任农垦部部长，就要安排王震去别的岗位工作，还要给王震做思想工作。
主席内心是希望彭德怀出来工作的，但杨尚昆发现，彭德怀的情绪状况都不是很好，再加上庐山会议刚刚过去，就让彭德怀出来工作，势必会引来不好的议论，杨尚昆思虑再三，没有将这件事告诉彭德怀。
时间来到1961年，此时的彭德怀已经逐渐接受了现状，给中央提交了一份申请，请求去农村搞调研工作，第一站是毛主席的故乡湖南，第二站是山西太行革命老区。
杨尚昆将这件事报告给毛主席，主席笑着说道：“他想去就去吧，可以多走走多看看，半年也没关系。”
彭德怀视察期间，七千人大会在北京召开，彭德怀听到刘少奇在大会上的发言后，内心很不舒服，连夜写下著名的《八万言书》，交给了毛主席。
1962年7月的北戴河中央工作会议上，毛主席主动提到了彭德怀的问题，想要给彭德怀“翻案”，最终却因为种种原因没有成功。
此事过后，中央成立了专门的彭德怀审查小组，在接下来的3年时间中，彭德怀一直在接受组织的审查，直到1965年，毛主席的一通电话，将彭德怀叫到了中南海，任命他为西南局第三副主任，去领导西南的“三线建设”，彭德怀得以复出工作。
