1959年秋天，彭德怀离开了中南海，来到了北京西郊的吴家花园，在这里度过了整整6年的闲居岁月。在这6年里，彭德怀勤奋地学习、劳动，他常常感叹说：“我不能白吃人民的小米呀！”
彭德怀
1965年9月中旬的一天，中央办公厅突然派人将彭德怀请到了人民大会堂，他在这里见到了时任中央政治局委员、北京市委书记的彭真，两人聊了一会后，彭真郑重地对彭德怀说：“毛主席让我转告你，让你到成都抓西南大三线的建设。”
彭德怀想了想，然后说：“这事我还不能答应！我早与军队脱离了关系，再也不想搞与军队有关的事，而且不懂工业，这怎么能去呢？我还是不去的好，烦你向主席复命，我会写信给他，希望能让我到外地的国营农场当农民去。”
彭真听后不禁摇摇头说：“彭总，你还是再考虑一下吧！”
此后毛泽东又亲自接见了彭德怀，并劝他去西南工作，彭德怀经过再三考虑，终于同意了。这年11月30日，彭德怀抵达成都，并正式就任西南三线建设委员会第三副主任。
毛泽东和彭德怀
彭德怀本来想在大西南好好工作，但树欲静而风不止，1965年11月10日，上海《文汇报》在头版头条发表了姚文元的署名文章《评新编历史剧<海瑞罢官>》，这篇文章发表以后，全国各地的党报纷纷转载，一场超越学术争论的政治大批判在文化战线上迅速展开。
12月22日，毛泽东对来找他汇报工作的彭真说：“姚文元的文章，好处是点了名，但是没有打中要害。要害是‘罢官’，嘉靖皇帝罢了海瑞的官，1959年我们罢了彭德怀的官，彭德怀也是海瑞。”
彭真听后深感事态严重，他郑重地对毛泽东说：“根据调查，吴晗同彭德怀没有联系，《海瑞罢官》同庐山会议没有联系。”
毛泽东听后说：“吴晗的问题，两个月以后再作结论。”
毛泽东和彭真
1966年2月中旬，彭真以视察西南西南三线建设工作为名，来到了成都，他首先去见了彭德怀。彭德怀一见彭真就问：“党中央下一步要干什么？我实在是被弄糊涂了，批判《海瑞罢官》，怎么把我给联系起来了？”
彭真说：“现在不是吴晗一个人的问题，也不是你一个人的问题，而是牵扯到一大批人。所以我这次来，是想请你配合一下。”
彭德怀瞪大了眼睛：“我？我能配合你什么？”
彭真说：“第一，建议你辞去三线建设副主任的职务，从此埋头做一些室内的研究工作，不再抛头露面，这样可以减小目标，少引起别人的注意；第二，我劝你向毛主席再写封信，收回你之前写的申诉书，把自己的功过是非留给后人去说，你服从党的决议就是了；第三，你向中央写个报告，实事求是地说清楚你和吴晗的关系，帮助我们解脱你和他的关系。”
彭真
彭德怀听后激动地说：“彭书记，我是准备忍辱负重的，也准备委曲求全，但我这个人你知道的，宁可让别人把我打倒，自己绝不倒下。第三条我可以照办，我不能让吴晗同志无辜受牵连，第一、第二条我坚持立场！”
第二天，彭真听取了西南三线建设委员会主要领导同志的工作汇报，汇报结束后，会务组组织彭真和大家合影，却发现合影的人中少了彭德怀。
原来彭德怀一直坐在会议室没走，会务组的同志找到他后，动员他到外面参加合影，他却痛苦地摇着头，执意不肯。会务的同志急了，再三动员，彭德怀却说：“你快去吧，不要耽误同志们了！”
彭真见彭德怀一直不来，又让西南局的一位同志去请他，但彭德怀依然不肯出来，最后摄影师没有办法，只好按下了快门。
彭德怀和群众们
没能与大家合影，彭德怀的心情是难过的，但他也是欣慰的，他已敏锐地预感到批《海瑞罢官》之后即将来临的风暴，他不愿意因为一张合影，而连累更多善良的人们！
