VisionFM（伏羲慧眼）是一款專為眼科領域開發的多模態多任務視覺基礎模型，旨在推動通用人工智能在眼科的應用。經過對3.4百萬張來自560,457個個體的眼科圖像的預訓練，VisionFM能有效應對多種眼科疾病的識別、預測及分析任務。這一模型支持包括眼底攝影、光學相干斷層掃描（OCT）和熒光素眼底血管造影（FFA）在內的八種主流眼科成像方式，展現出卓越的診斷能力和強大的泛化性能。

XX是什么

VisionFM（伏羲慧眼）是一款多模態多任務的視覺基礎模型，專注于眼科人工智能的廣泛應用。通過對3.4百萬張眼科圖像的預訓練，該模型覆蓋了豐富的眼科疾病、成像模態及設備信息。VisionFM能夠處理多種成像方式，應用于眼科疾病的識別、疾病進展的預測、表型細分及全身生物標志物的分析等多種任務。在識別12種常見眼科疾病時，其表現超越了基礎和中級眼科醫生，并在大規模診斷基準數據庫中超越了多種深度學習模型。VisionFM的設計使其對新穎的眼科成像模態、疾病譜系及設備展現出良好的適應性。

主要功能

• 疾病篩查與診斷：VisionFM能夠高效篩查并診斷多種眼科疾病，如糖尿病視網膜病變、青光眼和老年性黃斑變性等。
• 疾病預后分析：該模型可以預測疾病的發展趨勢與預后情況。
• 疾病表型細分：VisionFM具備亞分類疾病表型的能力，能夠進行病變、血管和層的分割以及地標檢測。
• 全身生物標志物與疾病預測：除了眼部疾病的分析，VisionFM還能從眼部圖像中提取全身的生物標志物和疾病信息。
• 多模態處理能力：此模型可處理多達八種常見眼科成像模態，包括眼底攝影、OCT和FFA等。
• 模態無關的診斷：VisionFM支持模態無關的診斷，能夠通過單一解碼器對不同成像模態中的多種眼科疾病進行分析。
• 少樣本學習能力：該模型展現出在少量標注樣本下也能進行高準確度診斷的能力。
• 強大的泛化能力：VisionFM對新型眼科模態、疾病譜系及成像設備具備良好的適應性。
• 合成數據增強學習：該模型能夠利用合成的眼科成像數據提升其學習能力，從而在后續的眼科AI任務中取得顯著的性能提升。

產品官網

• Github倉庫：https://github.com/ABILab-CUHK/VisionFM
• arXiv技術論文：https://arxiv.org/pdf/2310.04992

應用場景

• 眼科臨床任務：VisionFM能夠有效支持眼科臨床任務，尤其是在疾病篩查與診斷方面。
• 多種眼科疾病的診斷：該模型在多種眼科疾病的診斷與預測上表現優異，包括糖尿病視網膜病變、青光眼和老年性黃斑變性等。
• 基層醫療環境：在影像資源匱乏的基層醫療環境中，VisionFM可發揮重要作用，減輕醫生的工作壓力。
• 低眼科醫生密度地區：對于眼科醫生稀缺的地區和國家，VisionFM顯得尤為重要。
• 教育與培訓：VisionFM可作為資深眼科醫生的輔助工具，用于培訓初級眼科從業者，分享其在眼科影像和疾病診斷方面的豐富知識。
• 輔助生成診斷報告：該模型可以與大型語言模型（LLM）進行集成，生成詳盡的診斷報告，完成眼科疾病診斷的閉環。

常見問題

• VisionFM的準確性如何？：經過大規模預訓練，VisionFM在多項眼科AI應用中表現出接近專家水平的準確性，超越初級和中級眼科醫生。
• 如何獲取VisionFM？：用戶可以通過訪問VisionFM的GitHub倉庫和arXiv論文鏈接獲取相關資源。
• VisionFM適用于哪些眼科疾病？：該模型能夠診斷多種眼科疾病，包括糖尿病視網膜病變、青光眼等。