明岐 – 上海交大推出的醫(yī)學(xué)多模態(tài)大模型，精準(zhǔn)診斷罕見(jiàn)病

明岐是上海交通大學(xué)計(jì)算機(jī)學(xué)院LoCCS實(shí)驗(yàn)室推出的首款精準(zhǔn)診斷罕見(jiàn)病的醫(yī)學(xué)多模態(tài)大模型。該系統(tǒng)采用“雙引擎驅(qū)動(dòng)架構(gòu)”，結(jié)合了“大模型能力矩陣”和“專家路由協(xié)同”，能夠有效整合醫(yī)學(xué)影像、病歷文本和化驗(yàn)指標(biāo)等多種數(shù)據(jù)，為醫(yī)生提供高精度且可解釋的診斷支持。在克羅恩病等消化道罕見(jiàn)病的診斷中，明岐的準(zhǔn)確率超過(guò)92%，超越了許多專科高級(jí)醫(yī)生的水平。同時(shí)，明岐還通過(guò)模型蒸餾和量化技術(shù)顯著降低了算力需求，實(shí)現(xiàn)了低成本和本地化部署，為解決中國(guó)醫(yī)療資源不均衡問(wèn)題開辟了新的途徑。

明岐是什么

明岐是上海交通大學(xué)計(jì)算機(jī)學(xué)院LoCCS實(shí)驗(yàn)室開發(fā)的首個(gè)針對(duì)罕見(jiàn)病的精準(zhǔn)診斷醫(yī)學(xué)多模態(tài)大模型。它基于“雙引擎驅(qū)動(dòng)架構(gòu)”，整合了醫(yī)學(xué)影像、病歷文本和化驗(yàn)指標(biāo)等多種數(shù)據(jù)，為醫(yī)生提供高精度和可解釋的診斷支持。在克羅恩病等消化道罕見(jiàn)病的診斷中，其準(zhǔn)確率超過(guò)92%，超過(guò)了很多專科醫(yī)生的水平。通過(guò)模型蒸餾和量化技術(shù)，明岐顯著降低了算力需求，實(shí)現(xiàn)低成本、本地化部署，為解決中國(guó)醫(yī)療資源不平衡問(wèn)題帶來(lái)了新的可能性。

明岐的主要功能

• 精準(zhǔn)診斷：整合多種數(shù)據(jù)（影像、病歷、化驗(yàn)指標(biāo)），為罕見(jiàn)病（如克羅恩病）提供高達(dá)92%以上的診斷準(zhǔn)確率。
• 可解釋性：通過(guò)可視化診斷過(guò)程，提供推理依據(jù)及相似病例對(duì)比，增強(qiáng)醫(yī)生的信任感。
• 多專家協(xié)作：模擬多位專家的診斷思路，綜合多方意見(jiàn)，提高診斷的全面性和準(zhǔn)確性。
• 本地化部署：通過(guò)降低算力需求，實(shí)現(xiàn)安全、低成本的本地化運(yùn)行，以滿足數(shù)據(jù)隱私要求。

明岐的技術(shù)原理

• 雙引擎驅(qū)動(dòng)架構(gòu)：
  • 大模型能力矩陣：依托于大規(guī)模預(yù)訓(xùn)練模型，學(xué)量醫(yī)療數(shù)據(jù)中的特征和模式，為罕見(jiàn)病診斷提供堅(jiān)實(shí)的基礎(chǔ)能力。
  • 專家路由協(xié)同：模擬多位專家的診斷思路，將專家的經(jīng)驗(yàn)和知識(shí)融入模型，實(shí)現(xiàn)多專家協(xié)作的診斷效果。
• 多模態(tài)深度學(xué)習(xí)：整合醫(yī)學(xué)影像（如CT、MRI、內(nèi)鏡圖像等）、病歷文本（如病史、癥狀描述等）和化驗(yàn)指標(biāo)（如血液、生化指標(biāo)等）等多模態(tài)數(shù)據(jù)，通過(guò)深度學(xué)習(xí)算法提取關(guān)鍵特征，實(shí)現(xiàn)對(duì)罕見(jiàn)病的綜合診斷。
• 透明診斷艙機(jī)制：將診斷過(guò)程中的每一步及推理邏輯可視化，幫助醫(yī)生了解AI的診斷依據(jù)。提供相似病例庫(kù)對(duì)比，幫助醫(yī)生迅速定位疑似病變區(qū)域，增強(qiáng)可解釋性。
• 模型蒸餾與量化：利用模型蒸餾技術(shù)將復(fù)雜的預(yù)訓(xùn)練模型壓縮為更小、更高效的版本，降低算力需求，結(jié)合量化技術(shù)進(jìn)一步提升模型運(yùn)行效率，使其能夠在低成本硬件設(shè)備上高效運(yùn)行。

明岐的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://news.sjtu.edu.cn/jdyw/

明岐的應(yīng)用場(chǎng)景

• 罕見(jiàn)病精準(zhǔn)診斷：輔助醫(yī)生快速、準(zhǔn)確地診斷罕見(jiàn)病，縮短確診時(shí)間。
• 基層醫(yī)療賦能：為基層醫(yī)院提供低成本、高效的診斷服務(wù)，緩解專家資源緊張的問(wèn)題。
• 教學(xué)與科研支持：助力醫(yī)學(xué)教育與科研，提升診斷能力，推動(dòng)技術(shù)進(jìn)步。
• 遠(yuǎn)程醫(yī)療服務(wù)：結(jié)合遠(yuǎn)程醫(yī)療，為偏遠(yuǎn)地區(qū)患者提供遠(yuǎn)程診斷，提高醫(yī)療的可及性。
• 醫(yī)療數(shù)據(jù)管理：整合各類數(shù)據(jù)，便于存儲(chǔ)、查詢和分析，挖掘疾病的風(fēng)險(xiǎn)因素。

常見(jiàn)問(wèn)題

• 明岐的準(zhǔn)確率如何？：在罕見(jiàn)病（如克羅恩病）診斷中，明岐的準(zhǔn)確率超過(guò)92%。
• 明岐適用于哪些醫(yī)療場(chǎng)景？：明岐適用于罕見(jiàn)病的精準(zhǔn)診斷、基層醫(yī)療賦能、教學(xué)與科研支持、遠(yuǎn)程醫(yī)療服務(wù)等多種場(chǎng)景。
• 如何保障數(shù)據(jù)隱私？：明岐實(shí)現(xiàn)了本地化部署，確保數(shù)據(jù)安全和隱私保護(hù)。
• 明岐的技術(shù)基礎(chǔ)是什么？：明岐基于大模型能力矩陣和專家路由協(xié)同的雙引擎驅(qū)動(dòng)架構(gòu)，利用多模態(tài)深度學(xué)習(xí)和透明診斷機(jī)制。