GPT-4完成正確率僅6%！北大等提出首個「多輪、多模態」PPT任務完成基準PPTC

AIGC動態歡迎閱讀

原標題：GPT-4完成正確率僅6%！北大等提出首個「多輪、多模態」PPT任務完成基準PPTC

關鍵字：模型,輪次,指令,任務,語言

文章來源：新智元

內容字數：9968字

內容摘要：新智元報道編輯：LRS【新智元導讀】為了填補LLM在復雜多模態環境中利用復雜工具完成多輪、多模態指令的評估空白，研究人員引入了PowerPoint任務完成（PPTC）基準測試，以評估LLM創建和編輯PPT文檔的能力。最近對大型語言模型（例如ChatGPT和GPT-4）進行的評估工作主要側重于在基本自然語言任務上的能力，以及模型生成用于解決單句用戶指令的API的工具使用能力，卻忽略了在理解復雜多模態…

原文鏈接：點此閱讀原文：GPT-4完成正確率僅6%！北大等提出首個「多輪、多模態」PPT任務完成基準PPTC

聯系作者

文章來源：新智元

作者微信：AI_era

作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。