对于国民党的将领，毛主席对他们采取了史无前例的政策，若他们能改恶从善，就会对他们进行特赦。1959年毛主席决定，新中国以纪念国庆十周年的名义，对一批改造的比较好的罪犯进行特赦。而在第一批特赦的国民党将领中，并没有廖耀湘。
相比其他人，廖耀湘在这里改造表现算是一般，不积极也不落后。
被俘后的他，自命不凡，不愿意承认自己的失败，常常说自己的失败并不是他的原因，是上面的领导一直犹豫不决导致贻误战机。
不过，他在管理所并不好过。东北的管理所管理得很严，每天晚上起来上厕所都要喊报告，要说明是大便还是小便，得到哨兵的同意才能气喘。
而廖耀湘有前列腺炎，小便也不容易出来，而且身边有人看着他也出不来。这让他非常苦恼。尤其是东北的冬天，室外温度非常低，夜间哨兵总要看着他，经常解不出来。
为此，他经常会挨批评，也有人说是他故意找麻烦。后来他转到了北京战犯管理所，上厕所的时候没有人盯着才让他松了一口气。
在管理所里，他最喜欢的就是看书读报，但看书后睡觉总也是不自由的。
后来在北京战犯管理所，廖耀湘的生活极大地改善，最大的变化就是比以前自由了，还能请求购买自己喜欢的书籍。不过对此，很多人都取笑他是一本正经。
虽然他在管理所的生活不是多么如意，但在管理所之外，也还是有人惦记他的。
1951年，解放军军事学院成立，刘伯承担任院长。
当时教员非常缺乏，刘伯承决定从原来的国民党军官中找出一些人当教员。当时他第一时间就想起了廖耀湘。
廖耀湘是抗日名将，他也曾立下赫赫战功。
在此之前，很多学员都不能接受这些国民党军官来讲课，当听说廖耀湘来讲课的时候，心里也都非常反感。
后来，刘伯承也语重心长地教育了他们，他用毛主席的话，教导他们革命不分早晚，不分先后。
后来，廖耀湘得知自己要去讲课的时候，也很是不安，自己是一个战犯怎么去能给学生讲课呢？后来说是组织上给他的任务，他才决定去试试。
当他来到军事学院，见到刘伯承也有些拘束。刘伯承也告诉他主要讲什么，廖耀湘担心自己讲不好。在刘伯承的劝说下，他还是上台了。
后来，廖耀湘登上讲台，一开始还很紧张，后来渐入佳境，不知不觉一堂课结束，学生们都爆发出了雷鸣般的掌声，刘伯承都对他连连称赞。廖耀湘也开始对共产党改观。
1961年，他作为第三批改造成功的战犯被特赦释放。
特赦后的他感觉自己一无是处不知道能做什么。周恩来告诉他，他也是有用的，便交代给他一个任务，说道：“你有军政经验，又熟读古文。我看你完全可以当一个政协委员，顺带搞一搞文史编辑工作，我看也挺适合你的。”
之后，在周总理的指示下，廖耀湘被任命为政协全国委员会文史资料研究委员会专员。他的妻儿身在美国时，他却坚定地留在了大陆。
1968年12月2日，他因心脏病突发而逝世，享年62岁。1980年5月，他的骨灰被安放在八宝山革命公墓，公开肯定了他在抗战中的历史功绩。
