一步解決多模態(tài)醫(yī)學圖像對齊融合問題

原標題：入選AAAI 2025！可實現(xiàn)多模態(tài)醫(yī)學圖像對齊與融合，國內(nèi)兩大高校聯(lián)合提出BSAFusion
文章來源：HyperAI超神經(jīng)
內(nèi)容字數(shù)：9130字

昆明理工大學與中國海洋大學團隊在AAAI 2025發(fā)表多模態(tài)醫(yī)學圖像融合新方法

本文介紹了昆明理工大學李華鋒、張亞飛教授團隊與中國海洋大學蔡青副教授團隊合作，在AAAI 2025上發(fā)表的關(guān)于未對齊醫(yī)學圖像融合的新方法——BSAFusion。該研究在競爭激烈的AAAI 2025會議中脫穎而出，錄取率僅為23.4%。

1. 多模態(tài)醫(yī)學圖像融合的意義

多模態(tài)醫(yī)學圖像融合(MMIF) 通過融合CT、MRI、PET等不同成像方式的醫(yī)學圖像數(shù)據(jù)，生成包含更全面、更準確病變信息的新圖像，對現(xiàn)代醫(yī)學和臨床應用具有重要價值。單一醫(yī)學影像難以提供足夠信息確保臨床診斷精確度，尤其在處理腫瘤等疑難雜癥時，MMIF成為提高診斷效率和治療方案精準性的關(guān)鍵技術(shù)。

2. BSAFusion: 一種創(chuàng)新的未對齊醫(yī)學圖像融合方法

傳統(tǒng)的醫(yī)學圖像融合方法存在特征對齊和融合難以協(xié)調(diào)的難題。BSAFusion方法創(chuàng)新性地提出了一種基于雙向逐步特征對齊的單階段方法，在統(tǒng)一框架內(nèi)同時進行對齊和融合，有效解決了這一難題。該方法的主要創(chuàng)新點包括：

1. 共享特征編碼器：避免了引入額外編碼器導致模型復雜度增加。

2. 模態(tài)無差異特征表示(MDF-FR)：通過附加模態(tài)特征表示頭(MFRH)，降低模態(tài)差異對特征對齊的影響。

3. 雙向逐步變形場預測策略：有效解決了傳統(tǒng)單階段方法中大跨度和變形場預測不準確的問題。

BSAFusion框架主要由MDF-FR、BSFA和MMFF三個核心組件構(gòu)成。MDF-FR利用Restormer和Transformer提取特征并生成模態(tài)特異性特征表示；BSFA采用雙向逐步特征對齊方法預測變形場；MMFF模塊融合對齊后的特征并重建融合圖像。

3. 實驗結(jié)果與分析

研究團隊使用哈佛大學的CT-MRI、PET-MRI和SPECT-MRI數(shù)據(jù)集進行實驗，并與五種最先進的聯(lián)合配準方法進行比較。結(jié)果表明，BSAFusion在特征對齊、對比度保持和細節(jié)保留方面均表現(xiàn)出優(yōu)越性，在所有指標中平均性能最佳。

4. 團隊合作與未來展望

該研究由昆明理工大學李華鋒、張亞飛教授團隊和中國海洋大學蔡青副教授團隊合作完成。李華鋒教授和張亞飛教授在計算機視覺和圖像處理領(lǐng)域擁有豐富的經(jīng)驗，蔡青副教授在深度學習和醫(yī)學圖像處理方面也具有深厚的造詣。團隊的強強聯(lián)合是該研究成功的關(guān)鍵。未來，多模態(tài)醫(yī)學圖像融合技術(shù)將朝著融合、智能的方向發(fā)展，混合多種技術(shù)的融合手段將成為趨勢。

5. 相關(guān)資源

讀者可以通過關(guān)注公眾號并回復“多模態(tài)醫(yī)學圖像”獲取完整PDF，也可以訪問GitHub項目“awesome-ai4s”獲取更多AI for Science相關(guān)的論文解讀、數(shù)據(jù)集和工具。

聯(lián)系作者

文章來源：HyperAI超神經(jīng)
作者微信：
作者簡介：解構(gòu)技術(shù)先進性與普適性，報道更前沿的 AIforScience 案例