自1958年后，粟裕的主要工作，就变成较为空洞的军科院管理工作。这跟他之前负责的总参工作，有着极大的差异。粟裕戎马一生，最大的成就是战争年代，为全国解放打得胜仗。
因此，他的战争回忆录，是极有价值的。对于是否撰写回忆录，他十分纠结，前后出现很大的变化。
按理说，粟裕这样建国9年后，就被错判撤职，进入一种“与世无争”的赋闲状态，有着大把大把的空闲时间，可以动笔留下很多很多对后世有价值的东西。但实际上，他写的东西很少很少，可能是他早就知道，自己写得再多、再好，可能也不会有任何反响吧。
好比“九·一三”后，粟裕不顾妻子楚青的劝阻，执意写出一份自己对未来战争的看法报告，送交中央、军委和毛主席。楚青之所以劝阻，是因为丈夫的观点跟一些主流观点是对立的，甚至可以用“离经叛道”形容，给他代写的工作人员都不敢落笔。
楚青劝丈夫说：“你这是何苦呢？难道你在这种事上吃的苦头还不够多吗？”粟裕很是激动，严厉反驳道：“战争是要死人的。要是我看不出问题，那就算了；但我看出了问题，不把它讲出来的话，打起来会多死很多人，将付出更大的代价，那我就是历史的罪人啊。”
楚青就这样被粟裕说服，粟裕口述，由楚青用笔写下。报告写出并发出不少，但没有任何反馈，音信全无。其实相比较惹来麻烦，这样的结局已算不错。至此，他的心也死了。直到1976年夏天，粟裕心肌梗死，见过马克思一趟又回来了，他的一些观念才出现变化。
他跟妻子说：“你多次要我把自己亲身经历的战役、战斗写出来，之前我不准备写。现在，我决心要写。这可能是我最后，能为党、为国家做的一点工作和贡献了。”楚青听到很高兴，她早就希望丈夫这样做了。
粟裕的回忆录很纯粹，就是围绕一样东西来写，那就是“战争”，不涉及任何人际关系方面的杂事。楚青对此深以为然，因为这能够避免很多不必要的麻烦。那时候的粟裕，谁都“惹不起”，不谨小慎微不行。
写之前，粟裕就做好不能出版的准备，毕竟他知道自己还是“戴罪之身”，头上戴着几顶让人喘不过气来的“帽子”。他说：“不能出版不要紧，留给儿孙们当故事看看也是好的。”这也是新中国一代战神的无奈之举，写出的战争之书，竟很可能只能作为家中给儿孙讲故事的“童话书”。
几个月后，“四人帮”覆灭，粟裕的心境出现良好的转变，他以为自己的事结了，将得到平反，回忆录的撰写将无阻力，出版更是不成问题的事。可事实证明，他的判断失误了，不说出版，就是撰写回忆录一事，都出现1976年之前都没有过的阻力。
1981年春，有人说，粟裕不必再搞回忆录的事了。于是，当年军科院的主要负责人，派来协助粟裕整理、撰写回忆录的工作人员，陆陆续续离开。但更大的不幸还在后面，粟裕脑血栓发作，而且病情无法控制，出现反复发作的情况，语言和思维能力出现明显的问题，不再像过去那么敏捷。
但楚青不肯放弃，她不想丈夫仅有的一个小愿望，都无法在生前完成。她坚持一点一点地询问补全，可到1984年2月粟裕离世，也没有完全整理好。楚青感到无比悲愤，她说主要是有人在“明里暗搞破坏”导致的。
最后在一些好心领导的帮助下，粟裕的回忆录终于整理完毕，并于1988年底成功出版。可是，这本战争之书，存在十分严重的缺失情况，即淮海战役。淮海战役是粟裕军事生涯中，以少胜多的巅峰之作，一战直接打崩国民党在南京和大陆的统治。
粟裕总结一生战役、战斗，从个人视角写它们的作战背景、作战方针形成、战场形势的变化和他个人在不同形势下的考虑，力求写出自己真实可行的作战经验，可就是通篇没提“淮海战役”，书中连“淮海”这两个字都没写。
为什么不写？当代和后代有这个疑惑的人太多了。对此，粟裕曾给出一个完美的解释。协助他整理回忆录的秘书朱楹，曾提出“为什么不写”的疑问，他回答说：“淮海战役让邓副主席去写吧。”
粟裕这样做的部分原因，一是负责指挥此战的是总前委，最高领导不是他；二是他认为有人比自己更需要这份战绩威望。
