OpenMEDLab 浦醫(yī)

OpenMEDLab 浦醫(yī)醫(yī)療大模型開源平臺

6月29日，由上海人工智能實驗室（上海人工智能實驗室）牽頭，并聯(lián)合國內外頂級科研機構、高校及醫(yī)院共同發(fā)布全球首個醫(yī)療多模態(tài)基礎模型群“OpenMEDLab浦醫(yī)”。

OpenMEDLab 是一個開源平臺，用于共享多模態(tài)的醫(yī)學基礎模型，例如醫(yī)學成像、醫(yī)學 NLP、生物信息學、蛋白質等。它旨在推廣解決醫(yī)學長尾問題的新方法，同時尋求解決方案，以實現(xiàn)更低成本、更高效率和更好的通用性，以訓練醫(yī)學人工智能模型。使基礎模型適應下游應用的新學習范式使得有效地為跨領域和跨模態(tài)診斷任務開發(fā)創(chuàng)新解決方案成為可能。

OpenMEDLab 具有以下幾個特點：

• 全球首個醫(yī)學基礎模型開源平臺。
• 針對各種臨床和研究問題的 10+ 醫(yī)療數(shù)據(jù)模式。
• 使用基礎模型（包括預訓練模型、代碼和數(shù)據(jù)）的新學習范式的開創(chuàng)性工作。
• 發(fā)布多組醫(yī)療數(shù)據(jù)，用于預訓練和下游應用。
• 與頂級醫(yī)療機構和設施合作。

代表性論文

• 關于醫(yī)學圖像分析基礎模型的挑戰(zhàn)和前景。醫(yī)學圖像分析[論文]]
• MedFMC：醫(yī)學圖像分類中基礎模型適應的真實數(shù)據(jù)集和基準。科學數(shù)據(jù)?[代碼]
• 用于深度學習的乳腺癌分割的大規(guī)模合成病理數(shù)據(jù)集。科學數(shù)據(jù)?[代碼]
• D-LMBmap：用于神經(jīng)回路全腦分析的全自動深度學習管道。Nature 方法?[代碼]
• 從視網(wǎng)膜圖像中廣義疾病檢測的基礎模型。性質?[代碼]

模型

在 OpenMEDLab 中，開源了一系列醫(yī)學基礎模型及其在各種醫(yī)學數(shù)據(jù)模態(tài)中的應用，從醫(yī)學圖像分析和醫(yī)學大型語言模型到蛋白質工程，如下圖所示。

圖片來自“S. Zhang 和 D. Metaxas。關于醫(yī)學圖像分析基礎模型的挑戰(zhàn)和前景。醫(yī)學影像分析”

• 醫(yī)療大語言模型：PULSE
• 3D CT 分割基礎模型：MIS-FM
• 使用 SAM 的 2D 和 3D 醫(yī)療分割基礎模型：SAM-Med2D、SAM-Med3D
• 視網(wǎng)膜圖像的基礎模型：RETFound
• 全腦軸突分割和電路分析的基礎模型：D-LMBmap
• 內窺鏡視頻分析的基礎模型：Endo-FM

可以在此處找到更多醫(yī)學圖像的基礎模型。

數(shù)據(jù)

在 OpenMEDLab 中，我們還開源了一系列醫(yī)學數(shù)據(jù)集，用于基礎模型的相應研究及其在各種醫(yī)學數(shù)據(jù)模態(tài)中的應用，包括 CT、MR、病理數(shù)據(jù)集等。

• 醫(yī)療FM數(shù)據(jù)集：醫(yī)學圖像分類中基礎模型適應的真實數(shù)據(jù)集和基準。
• SA-Med2D-20M型數(shù)據(jù)集：使用 2000 萬個口罩分割 2D 醫(yī)學成像中的任何內容。
• 雪數(shù)據(jù)集：用于深度學習的乳腺癌分割的大規(guī)模合成病理學數(shù)據(jù)集。
• Endo-FM調頻私有數(shù)據(jù)集：一個包含超過 33K 視頻剪輯的大規(guī)模內窺鏡視頻數(shù)據(jù)集。