補齊Transformer規(guī)劃短板，田淵棟團隊的Searchformer火了

AIGC動態(tài)歡迎閱讀

原標題：補齊Transformer規(guī)劃短板，田淵棟團隊的Searchformer火了
關(guān)鍵字：模型,任務(wù),數(shù)據(jù),方法,團隊
文章來源：機器之心
內(nèi)容字數(shù)：4794字

內(nèi)容摘要：

機器之心報道
編輯：PandaTransformer 強大的泛化能力再次得到證明！最近幾年，基于 Transformer 的架構(gòu)在多種任務(wù)上都表現(xiàn)卓越，吸引了世界的矚目。使用這類架構(gòu)搭配大量數(shù)據(jù)，得到的大型語言模型（LLM）等模型可以很好地泛化用于真實世界用例。
盡管有如此成功，但基于 Transformer 的架構(gòu)和 LLM 依然難以處理規(guī)劃和推理任務(wù)。之前已有研究證明 LLM 難以應(yīng)對多步規(guī)劃任務(wù)或高階推理任務(wù)。
為了提升 Transformer 的推理和規(guī)劃性能，近些年研究社區(qū)也提出了一些方法。一種最常見且有效的方法是模擬人類的思考過程：先生成中間「思維」，然后再輸出響應(yīng)。比如思維鏈（CoT）提示法就是鼓勵模型預(yù)測中間步驟，進行按步驟的「思考」。思維樹（ToT）則使用了分支策略和評判方法，讓模型生成多個不同的思維路徑，然后從中選出最佳路徑。盡管這些技術(shù)通常是有效的，但也有研究表明，在很多案例中，這些方讓模型的性能下降，原因包括自我（self-enforcing）。
另一方面，在一個數(shù)據(jù)集上有效的技術(shù)可能無法很好地處理其它數(shù)據(jù)集，原因可能包括所涉及的推理類型發(fā)生了變化，比如

原文鏈接：補齊Transformer規(guī)劃短板，田淵棟團隊的Searchformer火了

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺