SAM 3 – Meta開源的視覺分割模型

Meta AI 隆重推出了其最新的尖端計(jì)算機(jī)視覺模型——SAM 3（Segment Anything Model 3）。這款革新性的模型能夠借助文本描述、樣例參考以及視覺線索，精準(zhǔn)地識別、分割并追蹤圖像和視頻中的各類對象。SAM 3 憑借其強(qiáng)大的跨模態(tài)交互能力，支持開放詞匯短語的輸入，并能實(shí)時動態(tài)地校正分割結(jié)果，為用戶帶來前所未有的體驗(yàn)。

SAM 3 究竟是何物？

SAM 3（Segment Anything Model 3）是 Meta AI 傾力打造的最新一代先進(jìn)計(jì)算機(jī)視覺模型。它能夠通過文本指令、示例樣本以及直觀的視覺提示，對圖像和視頻中的對象執(zhí)行檢測、分割和追蹤等一系列復(fù)雜任務(wù)。該模型顯著的特點(diǎn)在于其對開放詞匯短語輸入的完美兼容，以及卓越的跨模態(tài)交互能力，能夠?qū)崟r動態(tài)地調(diào)整和優(yōu)化分割效果。SAM 3 在圖像和視頻分割領(lǐng)域表現(xiàn)出驚人的性能，其效率和準(zhǔn)確性達(dá)到了現(xiàn)有同類系統(tǒng)的兩倍，并且無縫支持零樣本學(xué)習(xí)。更令人振奮的是，SAM 3 的能力已延伸至 3D 重建領(lǐng)域，為家居場景預(yù)覽、創(chuàng)意視頻編輯以及前沿科學(xué)研究等多元化應(yīng)用場景注入了強(qiáng)勁動力，無疑為計(jì)算機(jī)視覺的未來發(fā)展鋪就了堅(jiān)實(shí)道路。

SAM 3 的核心功能亮點(diǎn)

• 全方位多模態(tài)提示支持：SAM 3 能夠靈活運(yùn)用文本描述、示例圖像以及直觀的視覺交互（如鼠標(biāo)點(diǎn)擊、框選區(qū)域）來精確識別并分割圖像與視頻中的目標(biāo)對象，完美契合用戶的多樣化操作需求。
• 卓越的圖像與視頻分割能力：SAM 3 能夠一次性檢測并分割圖像中的所有匹配對象，同時支持在視頻序列中高效追蹤特定對象。其強(qiáng)大的實(shí)時交互性，允許用戶即時修正分割錯誤，進(jìn)一步提升結(jié)果的精確度。
• 強(qiáng)大的零樣本學(xué)習(xí)機(jī)制：SAM 3 具備處理全新、未知概念的能力，僅憑開放詞匯的文本提示，即可實(shí)現(xiàn)對未曾見過的對象類別的分割，無需進(jìn)行額外的模型訓(xùn)練。
• 流暢的實(shí)時交互體驗(yàn)：SAM 3 支持用戶通過添加額外的提示信息（例如，精準(zhǔn)點(diǎn)擊或劃定區(qū)域）來糾正模型可能出現(xiàn)的失誤，從而實(shí)現(xiàn)對分割結(jié)果的精細(xì)化調(diào)整，顯著優(yōu)化整體用戶體驗(yàn)。
• 廣泛的跨領(lǐng)域應(yīng)用潛力：SAM 3 的應(yīng)用范圍極為廣泛，涵蓋了諸如 Instagram Edits 等創(chuàng)意媒體工具，F(xiàn)acebook Marketplace 中的家居裝飾預(yù)覽功能，乃至野生動物監(jiān)測等嚴(yán)謹(jǐn)?shù)目茖W(xué)研究領(lǐng)域。

SAM 3 的技術(shù)基石解析

• 統(tǒng)一高效的模型架構(gòu)：SAM 3 采用了統(tǒng)一且強(qiáng)大的模型架構(gòu)，能夠同時高效處理圖像和視頻中的分割任務(wù)。該模型巧妙地融合了先進(jìn)的視覺編碼器（例如 Meta Perception Encoder）與強(qiáng)大的文本編碼器，使其能夠理解并響應(yīng)開放詞匯的文本指令。其架構(gòu)的核心組成部分包括一個能夠識別全局圖像對象的檢測器，以及一個基于記憶機(jī)制的視頻，兩者共享同一個核心視覺編碼器。
• 多模態(tài)輸入的智能處理：
  • 文本編碼器：負(fù)責(zé)將用戶輸入的文本提示轉(zhuǎn)化為可供模型理解的特征向量，從而指導(dǎo)后續(xù)的分割過程。
  • 視覺編碼器：負(fù)責(zé)將輸入的圖像或視頻幀編碼成具有豐富信息的特征向量，為對象的檢測和分割提供基礎(chǔ)。
  • 融合編碼器：將文本特征與視覺特征進(jìn)行深度融合，生成條件化的圖像特征表示，為最終的分割任務(wù)提供精確的引導(dǎo)。
• 創(chuàng)新的“存在頭”設(shè)計(jì)：為了進(jìn)一步提升模型的分類精度，SAM 3 引入了一個名為“存在頭”（Presence Head）的創(chuàng)新模塊。該模塊專門負(fù)責(zé)預(yù)測目標(biāo)概念在圖像或視頻中是否實(shí)際存在，從而將對象的識別任務(wù)與定位任務(wù)有效解耦，顯著提高了模型的準(zhǔn)確性和處理效率。
• 海量數(shù)據(jù)驅(qū)動的訓(xùn)練引擎：為了訓(xùn)練 SAM 3，Meta 構(gòu)建了一個極其高效的數(shù)據(jù)引擎。該引擎巧妙地結(jié)合了人工標(biāo)注和 AI 輔助標(biāo)注策略，成功生成了超過 400 萬個獨(dú)特概念的高質(zhì)量標(biāo)注數(shù)據(jù)集。這些數(shù)據(jù)覆蓋了極其廣泛的視覺領(lǐng)域和多樣的任務(wù)類型，確保了模型擁有卓越的泛化能力。
• 賦能零樣本學(xué)習(xí)：SAM 3 的核心能力之一是其對零樣本學(xué)習(xí)的支持，使其能夠處理訓(xùn)練過程中從未見過的新概念。通過開放詞匯的文本提示，模型能夠利用預(yù)先訓(xùn)練好的視覺和語言編碼器，精準(zhǔn)地識別并分割出全新的對象類別。
• 無縫的實(shí)時交互體驗(yàn)：SAM 3 提供了流暢的實(shí)時交互功能，用戶可以通過添加額外的提示信息（例如，精準(zhǔn)點(diǎn)擊或框選區(qū)域）來糾正模型的分割錯誤，從而實(shí)現(xiàn)對結(jié)果的精細(xì)化優(yōu)化。這種交互性使得模型能夠更準(zhǔn)確地理解用戶的意圖，并根據(jù)用戶反饋進(jìn)行動態(tài)調(diào)整。
• 精密的視頻追蹤與分割：在處理視頻任務(wù)時，SAM 3 運(yùn)用了一個基于記憶的來維持對象在時空維度上的一致性。該結(jié)合了檢測器的輸出以及存儲在記憶中的歷史信息，能夠生成高質(zhì)量的分割掩碼，并能平滑地在視頻幀之間傳遞掩碼信息。

SAM 3 的官方資源入口

• 項(xiàng)目官方網(wǎng)站：https://ai.meta.com/sam3/
• GitHub 代碼倉庫：https://github.com/facebookresearch/sam3/
• 在線體驗(yàn)演示（Demo）：https://www.aidemos.meta.com/segment-anything

SAM 3 的廣泛應(yīng)用場景展望

• 賦能創(chuàng)意媒體制作：內(nèi)容創(chuàng)作者可以以前所未有的速度為視頻中的人物或物體應(yīng)用各種特效，極大地提升了創(chuàng)作效率和想象力。
• 革新家居裝飾體驗(yàn)：在 Facebook Marketplace 中，SAM 3 支持的“房間預(yù)覽”功能，讓用戶能夠直觀地將家居裝飾品放置于真實(shí)空間中進(jìn)行預(yù)覽，從而做出更明智的購買決策。
• 推動科學(xué)研究進(jìn)展：SAM 3 被廣泛應(yīng)用于野生動物監(jiān)測和深海探索等領(lǐng)域，為科研人員提供了強(qiáng)大的工具，以更深入地理解和保護(hù)我們的自然生態(tài)系統(tǒng)，例如通過視頻分析來揭示野生動物的行為模式。
• 引領(lǐng) 3D 重建新浪潮：SAM 3D 技術(shù)能夠從單張圖像重建出逼真的 3D 物體和人體模型，為真實(shí)世界場景的 3D 重建設(shè)定了新的行業(yè)標(biāo)準(zhǔn)，為虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)應(yīng)用的蓬勃發(fā)展奠定了基礎(chǔ)。
• 豐富視頻創(chuàng)作的可能性：SAM 3 提供了一系列智能的 AI 視覺創(chuàng)作工具，能夠支持對現(xiàn)有 AI 生成視頻進(jìn)行靈活的混剪和編輯，極大地拓寬了視頻創(chuàng)作的邊界。