ControlLLM: 使用大語言模型控制工具，輕松定制個性化多模態(tài)模型

AIGC動態(tài)歡迎閱讀

原標(biāo)題：ControlLLM: 使用大語言模型控制工具，輕松定制個性化多模態(tài)模型
關(guān)鍵字：工具,任務(wù),模型,分解,解決方案
文章來源：算法邦
內(nèi)容字?jǐn)?shù)：7567字

內(nèi)容摘要：

直播預(yù)告 | 1月17日晚7點，「多模態(tài)大模型線上閉門會」正式開講！阿里巴巴通義實驗室 NLP 高級算法專家嚴(yán)明參與出品，攜手劉兆洋、李彥瑋、文束三位青年學(xué)者，共同探討多模態(tài)大模型的發(fā)展與應(yīng)用，歡迎報名。以GPT-4為代表的大語言模型（LLM）對話能力和文字能力已經(jīng)足夠出色，但我們認(rèn)為，也許LLM能做的遠(yuǎn)不止對話，它也可以作為多模態(tài)大模型的控制中樞。但由于用戶提示不明確、工具選擇和參數(shù)設(shè)置的不精確，以及工具調(diào)度低效，它們?nèi)匀幻媾R工具調(diào)用的挑戰(zhàn)。一些方法目前基于的假設(shè)是每個子任務(wù)最多只有一個前置任務(wù)，這在現(xiàn)實應(yīng)用中不夠靈活。
ControlLLM推出了基于圖搜索和任務(wù)分解的能夠精確控制工具使用的多模態(tài)交互框架。能夠?qū)LM為主要控制器，整合具有不同功能的工具作為插件，使用自研的圖上搜索（Thoughts on Graph，ToG）算法進行合理的任務(wù)分解、工具選擇以及高效的工具執(zhí)行調(diào)度，使得模型可以更高效、更準(zhǔn)確的理解用戶需求。未來，用戶可以使用ControlLLM，為大語言模型賦予自己需要的工具，輕松定制自己的多模態(tài)模型！論文:
https://arxiv.org/abs/2310.

原文鏈接：ControlLLM: 使用大語言模型控制工具，輕松定制個性化多模態(tài)模型

聯(lián)系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：「算法邦」，隸屬于智猩猩，關(guān)注大模型、生成式AI、計算機視覺三大領(lǐng)域的研究與開發(fā)，提供技術(shù)文章、講座、在線研討會。