Github2.5k星，Karpathy轉贊，「流程工程」讓LLM代碼能力瞬間翻倍，直接淘汰提示工程

AIGC動態歡迎閱讀

原標題：Github2.5k星，Karpathy轉贊，「流程工程」讓LLM代碼能力瞬間翻倍，直接淘汰提示工程
關鍵字：代碼,測試,問題,模型,任務
文章來源：新智元
內容字數：7383字

內容摘要：

新智元報道編輯：潤
【新智元導讀】Karpathy力推代碼生成任務增強流程，讓GPT-4在CodeContests從19%提升到44%，不用微調不用新數據集訓練，讓大模型代碼能力大幅提升。代碼生成可以說是大模型應用中效果最好，使用人群最廣的一項任務了。
但是由于編程語言眾多，要應對各種不同的邊緣場景，代碼生成任務又是對模型能力要求最高的任務，一般的自然語言提示，甚至是CoT等方法，對于代碼生成任務來說，效果也不是很好。
但是最近在GitHub上有一個項目大火，它通過一系列針對大模型代碼生成任務的優化，將提示詞工程升級為一個更加復雜的「流程工程」，能夠大幅提升模型輸出的代碼質量。
項目地址：https://github.com/Codium-ai/AlphaCodium
就連AK看了，都很興奮地轉發，認為如果代碼生成任務能夠以更科學的流程，而不是簡單的問答方式來和大語言模型互動的話，性能確實還有不少提升的空間。
作者把這個項目稱為AlphaCodium ，一種基于測試的、多階段、面向代碼的迭代流程。
他們在由谷歌DeepMind提出的一個非常有難度的代碼測試集CodeContests上

原文鏈接：Github2.5k星，Karpathy轉贊，「流程工程」讓LLM代碼能力瞬間翻倍，直接淘汰提示工程

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。