港科大在讀博士劉兆洋：從 InternGPT 到 ControlLLM，基于大語言模型的多模態(tài)理解與生成能力構(gòu)建

AIGC動態(tài)歡迎閱讀

原標(biāo)題：港科大在讀博士劉兆洋：從 InternGPT 到 ControlLLM，基于大語言模型的多模態(tài)理解與生成能力構(gòu)建
關(guān)鍵字：模型,語言,工具,用戶,工作
文章來源：算法邦
內(nèi)容字?jǐn)?shù)：2045字

內(nèi)容摘要：

1月17日晚7點，智猩猩推出「多模態(tài)大模型線上閉門會」。本次閉門會由阿里巴巴通義實驗室 NLP 高級算法專家嚴(yán)明參與出品，并聚焦于大語言模型工具調(diào)用 ControlLLM、長視頻理解視覺語言模型 LLaMA-VID和多模態(tài)文檔理解大模型 mPLUG-DocOwl，香港科技大學(xué)在讀博士劉兆洋、香港中文大學(xué)在讀博士李彥瑋和阿里巴巴通義實驗室高級算法工程師文束將參與主講。
其中，劉兆洋將圍繞主題《從 InternGPT 到 ControlLLM，基于大語言模型的多模態(tài)理解與生成能力構(gòu)建》進(jìn)行直播講解。
本次分享將圍繞大語言模型工具調(diào)用的最新進(jìn)展以及相關(guān)工作進(jìn)行展開，主要包括：InternGPT 和 ControlLLM。
InternGPT 作為早期大語言模型工具調(diào)用的探索工作，率先嘗試基于指尖設(shè)備構(gòu)建多模態(tài)交互系統(tǒng)，讓用戶通過點擊、框選、拖動等方式與 ChatGPT 交流，并解決視覺任務(wù)。ControlLLM 是全新的工具調(diào)用框架，基于 Thoughts-on-Graph 任務(wù)規(guī)劃范式，讓大型語言模型 (LLMs) 能夠利用多模態(tài)工具，解決更復(fù)雜的真實世界任務(wù)。
這兩個工作都展示了如何通過

原文鏈接：港科大在讀博士劉兆洋：從 InternGPT 到 ControlLLM，基于大語言模型的多模態(tài)理解與生成能力構(gòu)建

聯(lián)系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：「算法邦」，隸屬于智猩猩，關(guān)注大模型、生成式AI、計算機(jī)視覺三大領(lǐng)域的研究與開發(fā)，提供技術(shù)文章、講座、在線研討會。