OpenMEDLab 浦醫醫療大模型開源平臺

6月29日，由上海人工智能實驗室（上海人工智能實驗室）牽頭，并聯合國內外頂級科研機構、高校及醫院共同發布全球首個醫療多模態基礎模型群“OpenMEDLab浦醫”。

OpenMEDLab 是一個開源平臺，用于共享多模態的醫學基礎模型，例如醫學成像、醫學 NLP、生物信息學、蛋白質等。它旨在推廣解決醫學長尾問題的新方法，同時尋求解決方案，以實現更低成本、更高效率和更好的通用性，以訓練醫學人工智能模型。使基礎模型適應下游應用的新學習范式使得有效地為跨領域和跨模態診斷任務開發創新解決方案成為可能。

OpenMEDLab 具有以下幾個特點：

• 全球首個醫學基礎模型開源平臺。
• 針對各種臨床和研究問題的 10+ 醫療數據模式。
• 使用基礎模型（包括預訓練模型、代碼和數據）的新學習范式的開創性工作。
• 發布多組醫療數據，用于預訓練和下游應用。
• 與頂級醫療機構和設施合作。

代表性論文

• 關于醫學圖像分析基礎模型的挑戰和前景。醫學圖像分析[論文]]
• MedFMC：醫學圖像分類中基礎模型適應的真實數據集和基準。科學數據?[代碼]
• 用于深度學習的乳腺癌分割的大規模合成病理數據集。科學數據?[代碼]
• D-LMBmap：用于神經回路全腦分析的全自動深度學習管道。Nature 方法?[代碼]
• 從視網膜圖像中廣義疾病檢測的基礎模型。性質?[代碼]

模型

在 OpenMEDLab 中，開源了一系列醫學基礎模型及其在各種醫學數據模態中的應用，從醫學圖像分析和醫學大型語言模型到蛋白質工程，如下圖所示。

圖片來自“S. Zhang 和 D. Metaxas。關于醫學圖像分析基礎模型的挑戰和前景。醫學影像分析”

• 醫療大語言模型：PULSE
• 3D CT 分割基礎模型：MIS-FM
• 使用 SAM 的 2D 和 3D 醫療分割基礎模型：SAM-Med2D、SAM-Med3D
• 視網膜圖像的基礎模型：RETFound
• 全腦軸突分割和電路分析的基礎模型：D-LMBmap
• 內窺鏡視頻分析的基礎模型：Endo-FM

可以在此處找到更多醫學圖像的基礎模型。

數據

在 OpenMEDLab 中，我們還開源了一系列醫學數據集，用于基礎模型的相應研究及其在各種醫學數據模態中的應用，包括 CT、MR、病理數據集等。

• 醫療FM數據集：醫學圖像分類中基礎模型適應的真實數據集和基準。
• SA-Med2D-20M型數據集：使用 2000 萬個口罩分割 2D 醫學成像中的任何內容。
• 雪數據集：用于深度學習的乳腺癌分割的大規模合成病理學數據集。
• Endo-FM調頻私有數據集：一個包含超過 33K 視頻剪輯的大規模內窺鏡視頻數據集。