人类在面对具有挑战性的任务时,往往会退一步进行抽象,从而得出高层次的概念和原则来指导推理过程,受此启发,研究人员才提出了后退一步(step-back)的prompt技术,将推理建立在抽象概念的基础上,从而降低在中间推理步骤中出错的几率。
图中的上半部分中,以MMLU的高中物理为例,通过后退抽象,LLM得到理想气体定律的第一条原理。
而在下半部分中,是来自TimeQA的示例,教育史这一高层次概念是依照这种策略,LLM抽象出来的结果。
从整张图的左边可以看到,PaLM-2L未能成功回答原始问题。思维链(Chain-of-Thought)提示在中间推理步骤中,LLM出现了错误(红色高亮部分)。
而右边,应用了后退prompt技术的PaLM-2L则成功回答了问题。
结果表明,PaLM-2L的性能有了明显提高(高达27%),这证明了后退推理在处理复杂任务方面的性能十分显著。
转载此文是出于传递更多信息目的。若来源标注错误或侵犯了您的合法权益,请与本站联系,我们将及时更正、删除、谢谢。
https://www.414w.com/read/657385.html