MMedAgent

MMedAgent – 專為醫(yī)療領(lǐng)域設(shè)計(jì)的多模態(tài)AI智能體，管理多種醫(yī)療任務(wù)

MMedAgent是什么

MMedAgent是一款專為醫(yī)療行業(yè)設(shè)計(jì)的多模態(tài)人工智能智能體，通過整合多種開源醫(yī)療模型來有效管理各類醫(yī)療任務(wù)。該系統(tǒng)包含一個(gè)經(jīng)過指令調(diào)整的多模態(tài)大型語言模型（MLLM），充當(dāng)行動規(guī)劃器和結(jié)果匯總器，并配備了一系列專為醫(yī)療領(lǐng)域量身定制的工具，每個(gè)工具都針對特定的醫(yī)療任務(wù)進(jìn)行優(yōu)化。MMedAgent能夠處理如MRI、CT、X射線等多種醫(yī)學(xué)成像模式，從而支持臨床實(shí)踐中的多樣化數(shù)據(jù)類型。通過理解用戶指令及醫(yī)學(xué)影像，該系統(tǒng)生成格式化指令以調(diào)用特定工具，并將工具的輸出匯聚起來，提供準(zhǔn)確、全面的回復(fù)。MMedAgent在多種醫(yī)療任務(wù)中的表現(xiàn)超過了現(xiàn)有的開源解決方案，甚至優(yōu)于一些閉源模型如GPT-4o。

MMedAgent的主要功能

• 多模態(tài)任務(wù)處理：MMedAgent能夠處理多種語言和多模態(tài)任務(wù)，包括接地、分割、分類、醫(yī)學(xué)報(bào)告生成（MRG）和檢索增強(qiáng)生成（RAG）。
• 醫(yī)療影像支持：該系統(tǒng)支持多種醫(yī)學(xué)成像方式，如MRI、CT和X射線，靈活應(yīng)對臨床實(shí)踐中遇到的各類數(shù)據(jù)。
• 工具集成與調(diào)用：MMedAgent整合了多個(gè)工具，涵蓋七個(gè)重要的醫(yī)療任務(wù)，能夠根據(jù)用戶指令選擇合適的工具進(jìn)行調(diào)用。
• 指令微調(diào)：通過創(chuàng)建指令調(diào)整數(shù)據(jù)集，MMedAgent訓(xùn)練多模態(tài)大型語言模型（MLLM）以理解和執(zhí)行用戶的指令。
• 結(jié)果聚合：MLLM作為結(jié)果匯總器，將工具的輸出與用戶的指令和圖像相結(jié)合，生成最終的響應(yīng)。
• 端到端訓(xùn)練：MMedAgent采用自回歸目標(biāo)對生成的序列進(jìn)行端到端訓(xùn)練，確保模型能正確使用工具并根據(jù)工具的結(jié)果回答問題。

MMedAgent的技術(shù)原理

• 系統(tǒng)架構(gòu)：MMedAgent由兩個(gè)核心部分構(gòu)成：
  • 一個(gè)經(jīng)過指令調(diào)整的多模態(tài)大型語言模型（MLLM），作為行動規(guī)劃器和結(jié)果匯總器。
  • 為智能體專門定制的一系列醫(yī)療工具，每個(gè)工具都針對醫(yī)療領(lǐng)域的特定任務(wù)。
• 工作流程：MMedAgent的工作流程分為四個(gè)步驟：
  • 用戶提供指令和醫(yī)療圖像。
  • MLLM解析指令和圖像，生成格式化指令以調(diào)用特定工具。
  • 執(zhí)行工具并返回結(jié)果。
  • MLLM將工具的輸出與用戶指令和圖像結(jié)合，生成最終答案。
• 指令微調(diào)：MMedAgent采用統(tǒng)一的對話格式，以確保其在行動規(guī)劃和結(jié)果匯總中的角色。在接收到用戶輸入后，MMedAgent生成三個(gè)部分：
  • Thought（思考）：判斷是否需要調(diào)用外部工具。
  • API Name和API Params（API名稱和參數(shù)）：API調(diào)用的名稱和參數(shù)。
  • Value（值）：由MLLM聚合的工具輸出和自然語言回應(yīng)。
• 自回歸目標(biāo)訓(xùn)練：MMedAgent通過自回歸目標(biāo)對生成的序列進(jìn)行端到端訓(xùn)練，以確保模型能夠正確使用工具并根據(jù)工具的輸出作出回答。

MMedAgent的項(xiàng)目地址

• Github倉庫：https://github.com/Wangyixinxin/MMedAgent
• arXiv技術(shù)論文：https://arxiv.org/pdf/2407.02483

MMedAgent的應(yīng)用場景

• 視覺問答（VQA）：MMedAgent能夠處理與醫(yī)學(xué)影像相關(guān)的問題，基于圖像內(nèi)容提供答案，支持MRI、CT、X射線、組織學(xué)和大體病理學(xué)等多種影像模態(tài)。
• 分類任務(wù)：通過使用BiomedCLIP工具，MMedAgent能夠進(jìn)行零樣本和細(xì)粒度的醫(yī)學(xué)圖像分類。
• 定位和分割任務(wù)：MMedAgent集成了Grounding DINO和MedSAM工具，應(yīng)用于醫(yī)學(xué)影像的定位和分割任務(wù)，包括基于邊界框提示的分割（Segmentation）和基于文本提示的分割（G-Seg）。
• 醫(yī)學(xué)報(bào)告生成（MRG）：借助ChatCAD工具，MMedAgent能夠從X光圖像生成準(zhǔn)確的醫(yī)學(xué)報(bào)告。
• 檢索增強(qiáng)生成（RAG）：MMedAgent通過ChatCAD+工具，從外部數(shù)據(jù)源獲取最相關(guān)的信息，支持醫(yī)療檢索流程。
• 跨模態(tài)醫(yī)學(xué)任務(wù)處理：MMedAgent能夠靈活利用各種醫(yī)療工具，處理跨不同成像模態(tài)的廣泛醫(yī)學(xué)任務(wù)。

常見問題

• MMedAgent如何處理不同類型的醫(yī)學(xué)圖像？MMedAgent支持多種醫(yī)學(xué)成像模式，包括MRI、CT和X射線，能夠根據(jù)圖像特性選擇合適的處理工具。
• MMedAgent的使用場景有哪些？該系統(tǒng)可用于視覺問答、醫(yī)學(xué)報(bào)告生成、圖像分類、定位和分割等多種醫(yī)療場景。
• 如何獲取MMedAgent的最新版本？您可以通過其Github倉庫獲取最新版本及更新信息。
• MMedAgent的性能如何？MMedAgent在多個(gè)醫(yī)療任務(wù)上的表現(xiàn)優(yōu)于現(xiàn)有的開源方案，且在某些任務(wù)上超過了閉源模型。