VisionFM：少樣本多疾病診斷的智能眼科AI模型

VisionFM（伏羲慧眼）是一款專為眼科領(lǐng)域開發(fā)的多模態(tài)多任務(wù)視覺基礎(chǔ)模型，旨在推動(dòng)通用人工智能在眼科的應(yīng)用。經(jīng)過對(duì)3.4百萬張來自560,457個(gè)個(gè)體的眼科圖像的預(yù)訓(xùn)練，VisionFM能有效應(yīng)對(duì)多種眼科疾病的識(shí)別、預(yù)測(cè)及分析任務(wù)。這一模型支持包括眼底攝影、光學(xué)相干斷層掃描（OCT）和熒光素眼底血管造影（FFA）在內(nèi)的八種主流眼科成像方式，展現(xiàn)出卓越的診斷能力和強(qiáng)大的泛化性能。

XX是什么

VisionFM（伏羲慧眼）是一款多模態(tài)多任務(wù)的視覺基礎(chǔ)模型，專注于眼科人工智能的廣泛應(yīng)用。通過對(duì)3.4百萬張眼科圖像的預(yù)訓(xùn)練，該模型覆蓋了豐富的眼科疾病、成像模態(tài)及設(shè)備信息。VisionFM能夠處理多種成像方式，應(yīng)用于眼科疾病的識(shí)別、疾病進(jìn)展的預(yù)測(cè)、表型細(xì)分及全身生物標(biāo)志物的分析等多種任務(wù)。在識(shí)別12種常見眼科疾病時(shí)，其表現(xiàn)超越了基礎(chǔ)和中級(jí)眼科醫(yī)生，并在大規(guī)模診斷基準(zhǔn)數(shù)據(jù)庫中超越了多種深度學(xué)習(xí)模型。VisionFM的設(shè)計(jì)使其對(duì)新穎的眼科成像模態(tài)、疾病譜系及設(shè)備展現(xiàn)出良好的適應(yīng)性。

主要功能

• 疾病篩查與診斷：VisionFM能夠高效篩查并診斷多種眼科疾病，如糖尿病視網(wǎng)膜病變、青光眼和老年性黃斑變性等。
• 疾病預(yù)后分析：該模型可以預(yù)測(cè)疾病的發(fā)展趨勢(shì)與預(yù)后情況。
• 疾病表型細(xì)分：VisionFM具備亞分類疾病表型的能力，能夠進(jìn)行病變、血管和層的分割以及地標(biāo)檢測(cè)。
• 全身生物標(biāo)志物與疾病預(yù)測(cè)：除了眼部疾病的分析，VisionFM還能從眼部圖像中提取全身的生物標(biāo)志物和疾病信息。
• 多模態(tài)處理能力：此模型可處理多達(dá)八種常見眼科成像模態(tài)，包括眼底攝影、OCT和FFA等。
• 模態(tài)無關(guān)的診斷：VisionFM支持模態(tài)無關(guān)的診斷，能夠通過單一解碼器對(duì)不同成像模態(tài)中的多種眼科疾病進(jìn)行分析。
• 少樣本學(xué)習(xí)能力：該模型展現(xiàn)出在少量標(biāo)注樣本下也能進(jìn)行高準(zhǔn)確度診斷的能力。
• 強(qiáng)大的泛化能力：VisionFM對(duì)新型眼科模態(tài)、疾病譜系及成像設(shè)備具備良好的適應(yīng)性。
• 合成數(shù)據(jù)增強(qiáng)學(xué)習(xí)：該模型能夠利用合成的眼科成像數(shù)據(jù)提升其學(xué)習(xí)能力，從而在后續(xù)的眼科AI任務(wù)中取得顯著的性能提升。

產(chǎn)品官網(wǎng)

• Github倉庫：https://github.com/ABILab-CUHK/VisionFM
• arXiv技術(shù)論文：https://arxiv.org/pdf/2310.04992

應(yīng)用場(chǎng)景

• 眼科臨床任務(wù)：VisionFM能夠有效支持眼科臨床任務(wù)，尤其是在疾病篩查與診斷方面。
• 多種眼科疾病的診斷：該模型在多種眼科疾病的診斷與預(yù)測(cè)上表現(xiàn)優(yōu)異，包括糖尿病視網(wǎng)膜病變、青光眼和老年性黃斑變性等。
• 基層醫(yī)療環(huán)境：在影像資源匱乏的基層醫(yī)療環(huán)境中，VisionFM可發(fā)揮重要作用，減輕醫(yī)生的工作壓力。
• 低眼科醫(yī)生密度地區(qū)：對(duì)于眼科醫(yī)生稀缺的地區(qū)和國家，VisionFM顯得尤為重要。
• 教育與培訓(xùn)：VisionFM可作為資深眼科醫(yī)生的輔助工具，用于培訓(xùn)初級(jí)眼科從業(yè)者，分享其在眼科影像和疾病診斷方面的豐富知識(shí)。
• 輔助生成診斷報(bào)告：該模型可以與大型語言模型（LLM）進(jìn)行集成，生成詳盡的診斷報(bào)告，完成眼科疾病診斷的閉環(huán)。

常見問題

• VisionFM的準(zhǔn)確性如何？：經(jīng)過大規(guī)模預(yù)訓(xùn)練，VisionFM在多項(xiàng)眼科AI應(yīng)用中表現(xiàn)出接近專家水平的準(zhǔn)確性，超越初級(jí)和中級(jí)眼科醫(yī)生。
• 如何獲取VisionFM？：用戶可以通過訪問VisionFM的GitHub倉庫和arXiv論文鏈接獲取相關(guān)資源。
• VisionFM適用于哪些眼科疾病？：該模型能夠診斷多種眼科疾病，包括糖尿病視網(wǎng)膜病變、青光眼等。