從計算機(jī)視覺向醫(yī)療AI，上海交大謝偉迪發(fā)布多項成果，登Nature子刊/NeurIPS/CVPR等

從計算機(jī)視覺走向醫(yī)療人工智能

原標(biāo)題：從計算機(jī)視覺向醫(yī)療AI，上海交大謝偉迪發(fā)布多項成果，登Nature子刊/NeurIPS/CVPR等
文章來源：HyperAI超神經(jīng)
內(nèi)容字?jǐn)?shù)：10029字

醫(yī)療人工智能的前沿探索

近日，上海交通大學(xué)長聘軌副教授謝偉迪在COSCon’24 AI for Science論壇上分享了其團(tuán)隊在醫(yī)療人工智能領(lǐng)域的研究進(jìn)展。謝教授強(qiáng)調(diào)，隨著AI技術(shù)的迅速發(fā)展，醫(yī)療領(lǐng)域正在迎來新的機(jī)遇和挑戰(zhàn)，尤其是在數(shù)據(jù)集構(gòu)建和模型開發(fā)方面。

1. 醫(yī)療人工智能的必要性

醫(yī)療研究對人類健康至關(guān)重要，然而醫(yī)療資源的不均衡分配始終是一個難題。謝教授指出，近年來大模型的表現(xiàn)顯著提升，例如GPT-4在醫(yī)師執(zhí)業(yè)考試中的得分達(dá)到了90分，這讓醫(yī)生們開始關(guān)注AI技術(shù)在醫(yī)療中的應(yīng)用。

2. 通用醫(yī)療人工智能系統(tǒng)的構(gòu)想

謝教授的團(tuán)隊致力于構(gòu)建一個多模態(tài)通用醫(yī)療模型，能夠支持圖像、音頻和患者健康檔案等多種輸入類型。該模型希望通過提供視覺和文本兩種輸出形式，幫助醫(yī)生更好地進(jìn)行診斷和治療。

3. 開源數(shù)據(jù)集的貢獻(xiàn)

為了解決高質(zhì)量醫(yī)療數(shù)據(jù)的稀缺問題，團(tuán)隊構(gòu)建了多個開源數(shù)據(jù)集，包括文本和視覺數(shù)據(jù)。通過收集醫(yī)學(xué)書籍、論文，以及放射學(xué)影像數(shù)據(jù)，團(tuán)隊已經(jīng)建立了覆蓋廣泛的醫(yī)療數(shù)據(jù)資源。

4. 語言模型與視覺-語言模型的研發(fā)

團(tuán)隊推出了PMC-LLaMA等開源醫(yī)療語言模型，并在此基礎(chǔ)上進(jìn)行多語言擴(kuò)展。這些模型能夠快速注入醫(yī)學(xué)知識，提升醫(yī)療服務(wù)的智能化水平。此外，團(tuán)隊還在視覺-語言模型方面取得了一系列成果，構(gòu)建了多個數(shù)據(jù)集和模型。

5. 知識增強(qiáng)與模型性能提升

謝教授強(qiáng)調(diào)，知識增強(qiáng)表征學(xué)習(xí)是提升模型性能的重要手段。通過建立知識圖譜，將醫(yī)學(xué)知識注入模型中，團(tuán)隊的研究成果在多個基準(zhǔn)測試中表現(xiàn)出色，顯示了知識增強(qiáng)模型的潛力和優(yōu)勢。