SAM 2

SAM 2（Segment Anything Model 2）是Meta開發的一款先進AI對象分割模型，專注于實時處理圖像和視頻的分割任務。它具備優異的零樣本泛化能力，可以準確識別并分割未見過的對象。此外，它通過一個統一的架構同時支持圖像和視頻的處理，提升了應用的靈活性。SAM 2還具備交互式提示功能，允許用戶通過簡單的點擊或框選來指導分割過程。該模型已開源，推動了視頻編輯、自動駕駛、醫學成像等多個領域的應用進展。

SAM 2是什么

SAM 2（Segment Anything Model 2）是Meta推出的一款AI對象分割模型，旨在實時處理圖片和視頻中的對象分割。它具有卓越的零樣本泛化能力，能夠有效分割未知對象，并且通過統一的架構同時處理圖像和視頻。SAM 2的設計支持用戶交互，通過點擊或框選來指導分割過程。該模型已開源，推動了AI在視頻編輯、自動駕駛和醫學成像等領域的廣泛應用。

SAM 2的主要功能

• 集成處理能力：SAM 2能同時處理靜態圖像和動態視頻的分割任務，提升了應用的靈活性和效率。
• 高效實時處理：具備高效的實時處理能力，每秒可分析多達44幀的圖像，滿足快速反饋需求的應用場景，如視頻編輯和增強現實。
• 適應性強：該模型能夠識別并分割在訓練階段未曾出現過的新物體，展現出良好的適應性。
• 用戶交互改進：用戶可以通過反饋告訴SAM 2哪些地方表現良好，哪些地方需要改進，從而提升模型的準確性。
• 復雜場景解析：在復雜或模糊的場景中，SAM 2能夠提供多個分割選項，智能地解析和區分重疊或部分遮擋的對象。

SAM 2的技術原理

• 統一模型架構：SAM 2將圖像和視頻分割功能整合在一個模型中，基于用戶提示，通過點、邊界框或掩碼來指定感興趣的對象。
• 高級處理機制：該模型設計有處理視頻分割中常見問題的機制，如物體遮擋。使用復雜的記憶機制來跟蹤各幀中的物體，確保連續性。
• 模型架構：包括圖像和視頻編碼器、提示編碼器、記憶機制（記憶編碼器、記憶庫和記憶注意力模塊）以及掩碼解碼器，這些組件協同工作以提取特征、處理用戶提示、存儲過去幀的信息，并生成最終的分割掩碼。
• 記憶機制和遮擋處理：記憶機制使SAM 2能夠處理時間依賴性和遮擋問題。當物體移動或被遮擋時，模型可以依賴記憶庫預測對象的位置和外觀。
• 多掩碼模糊解決：在存在多個可能的分割對象時，SAM 2能夠生成多個掩碼預測，提高對復雜場景的準確度。
• SA-V 數據集：為了訓練SAM 2，開發了SA-V數據集，成為目前最大、最具多樣性的視頻分割數據集之一，涵蓋超過51,000個視頻和600,000個掩碼注釋，提供了前所未有的多樣性和復雜性。
• 提示視覺分割任務：SAM 2設計為可以接受視頻中任意一幀的輸入提示，定義要預測的時空掩碼，并能夠依據這些提示即時預測當前幀的遮罩，并在時間上進行傳播，生成目標對象在所有視頻幀中的masklet。

SAM 2的項目地址

• 項目官網：https://ai.meta.com/sam2/
• 體驗Demo：https://aidemos.meta.com/
• GitHub倉庫：https://github.com/facebookresearch/segment-anything-2
• HuggingFace模型庫：https://huggingface.co/models?search=facebook/sam2
• arXiv技術論文：https://arxiv.org/abs/2408.00714

SAM 2的應用場景

• 視頻編輯：在視頻后期制作中，SAM 2可以迅速分割視頻中的對象，幫助編輯者從復雜背景中提取特定元素，并進行特效添加或替換。
• 增強現實（AR）：在增強現實應用中，SAM 2能夠實時識別和分割現實世界中的對象，為用戶疊加虛擬信息或圖像。
• 自動駕駛：在自動駕駛系統中，SAM 2可以精確識別和分割道路、行人、車輛等，提高導航和避障的準確性。
• 醫學成像：在醫學領域，SAM 2可以輔助醫生在醫學影像中分割和識別病變區域，為診斷和治療計劃提供支持。
• 內容創作：對于內容創作者，SAM 2能夠在視頻或圖像中快速選取特定對象，拓展創作的可能性。