国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

統一SAM2和LLaVA!字節豆包提出Dense Video多模態大模型Sa2VA

AIGC動態7個月前發布 機器之心
416 0 0

第一個結合SAM-2和LLaVA-like的視頻多模態大模型

統一SAM2和LLaVA!字節豆包提出Dense Video多模態大模型Sa2VA

原標題:統一SAM2和LLaVA!字節豆包提出Dense Video多模態大模型Sa2VA
文章來源:機器之心
內容字數:8977字

Sa2VA:首個結合SAM-2和LLaVA-like的視頻多模態大模型

本文介紹了來自字節跳動、北京大學等機構研究者提出的Sa2VA模型,這是市面上第一個結合SAM-2和LLaVA-like架構的視頻多模態大模型。Sa2VA整合了SAM-2的感知能力和LLaVA的推理能力,實現了時空細粒度的視頻理解,并在多個視頻和圖像理解任務上取得了領先效果。

1. 研究背景和動機

近年來,多模態大語言模型取得了顯著進展,能夠支持圖像對話、視頻對話等多種任務。然而,現有模型在細粒度圖像和視頻理解方面存在不足:感知模型缺乏自然語言推理能力,而多模態大語言模型缺乏感知能力,特別是視頻分割能力。Sa2VA旨在結合兩者的優勢,構建一個統一的模型,支持圖像、視頻細粒度感知以及對話、分析等任務。

2. 模型設計與實現

Sa2VA的核心設計理念是將所有輸入(文本、視覺提示、圖像、視頻)統一編碼為令牌,進行聯合訓練。模型主要包含兩部分:多模態大語言模型和SAM-2模型。多模態大語言模型負責處理文本和視覺信息,SAM-2模型負責分割任務。兩者通過“[SEG]”令牌連接,實現信息的交互和傳遞。對于視頻指代分割,Sa2VA利用關鍵幀和SAM-2的記憶編碼器實現高效的跟蹤和分割。

3. 訓練方法

Sa2VA采用統一的指令微調格式,整合了圖像和視頻Referring Expression Segmentation (RES)、Visual Question Answering (VQA)、Grounded Conversation Generation (GCG)等多種任務,并使用不同的損失函數進行聯合訓練。得益于預訓練的多模態大語言模型,Sa2VA無需額外的預訓練階段。

4. Ref-SAM-v Benchmark

研究者還提出了一個新的Benchmark,Ref-SAM-2v,以及對應的訓練數據集,該數據集相比于之前的Ref-VOS數據集更具挑戰性。

5. 數值結果與可視化

Sa2VA在13個公開數據集上的5個不同任務中取得了領先的結果,并在提出的Ref-SAM-v benchmark上也大幅領先現有工作??梢暬Y果展示了Sa2VA在圖像和視頻字幕生成、對話、指代對象分割、GCG、視覺指代物體描述等任務上的出色性能,并能擴展到開放場景。

6. 總結

Sa2VA 通過巧妙地結合SAM-2和LLaVA-like模型的優勢,并采用創新的訓練方法,在視頻多模態理解領域取得了突破性進展。其在細粒度視頻理解和多種下游任務上的優異表現,為未來多模態大模型的發展提供了新的方向。


聯系作者

文章來源:機器之心
作者微信:
作者簡介:專業的人工智能媒體和產業服務平臺

閱讀原文
? 版權聲明
蟬鏡AI數字人

相關文章

蟬鏡AI數字人

暫無評論

暫無評論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        一区二区三区.www| 精品国产欧美一区二区| 91精品国产欧美一区二区| 亚洲午夜国产一区99re久久| 欧美视频第二页| 奇米一区二区三区av| 日韩一级欧美一级| 粉嫩一区二区三区在线看| 亚洲精品精品亚洲| 日韩精品最新网址| aaa亚洲精品| 日韩高清不卡在线| 国产精品美女视频| 欧美日韩午夜在线视频| 国内精品伊人久久久久av一坑| 中文成人av在线| 91精品婷婷国产综合久久竹菊| 国产一区二区三区四区五区美女 | 成人高清伦理免费影院在线观看| 亚洲欧美偷拍另类a∨色屁股| 欧美精品三级在线观看| 国产精品99精品久久免费| 亚洲女爱视频在线| 欧美电影免费观看高清完整版在 | 日日骚欧美日韩| 久久奇米777| 精品视频在线免费观看| 成人综合在线观看| 久久 天天综合| 亚洲在线成人精品| 国产精品私房写真福利视频| 欧美一区二区视频观看视频| av一区二区三区在线| 免费在线观看精品| 一区二区三区高清不卡| 国产日韩欧美不卡在线| 亚洲国产成人午夜在线一区| 欧美色精品在线视频| 国产成人免费视| 美国十次综合导航| 亚洲国产一区在线观看| 国产精品你懂的在线欣赏| 日韩精品最新网址| 7777精品伊人久久久大香线蕉| 91麻豆国产福利精品| 成人爱爱电影网址| 成人精品视频一区二区三区尤物| 美国三级日本三级久久99| 亚洲成人av免费| 一区二区三区 在线观看视频| 国产精品久久久久久久久搜平片 | 久久久99免费| 久久久久九九视频| 精品日韩欧美一区二区| 日韩欧美在线网站| 精品国产区一区| 国产色产综合色产在线视频| 久久久精品综合| 欧美激情一区二区在线| 欧美激情一区二区在线| 国产精品天天看| 亚洲色图欧美偷拍| 亚洲国产视频一区| 午夜激情久久久| 蜜臀av国产精品久久久久 | 久久 天天综合| 国产资源精品在线观看| 国产一区二区看久久| 国产成人啪午夜精品网站男同| 国产v综合v亚洲欧| 91丝袜呻吟高潮美腿白嫩在线观看| 97国产一区二区| 欧美天堂亚洲电影院在线播放| 5566中文字幕一区二区电影| 日韩精品一区二区三区视频在线观看 | 日本中文一区二区三区| 麻豆精品久久精品色综合| 国精产品一区一区三区mba桃花 | 成人性生交大片免费看视频在线| 成人av网站大全| 色噜噜狠狠色综合中国| 欧美日韩国产a| 精品国产乱码91久久久久久网站| 日韩va欧美va亚洲va久久| 三级一区在线视频先锋 | 石原莉奈在线亚洲三区| 精品一区二区三区免费播放 | 国产一区二区视频在线| 成人免费高清视频在线观看| 日本韩国欧美国产| 精品国产99国产精品| 亚洲美女视频在线观看| 久久国产精品99精品国产| 成人网在线播放| 欧美人伦禁忌dvd放荡欲情| 精品国产区一区| 亚洲一二三四区| 国产成人h网站| 日韩一区二区电影在线| 一区二区三区欧美| 成人午夜电影网站| 日韩视频一区在线观看| 中文字幕一区日韩精品欧美| 麻豆免费看一区二区三区| 97se亚洲国产综合自在线不卡| 91精品国产综合久久精品麻豆 | 亚洲私人黄色宅男| 国产自产视频一区二区三区| 欧美日韩一级片网站| 国产精品家庭影院| 毛片不卡一区二区| 欧美日韩在线一区二区| 国产精品久久久久久妇女6080| 毛片av一区二区| 欧美精品三级在线观看| 亚洲精品高清在线| 99在线精品一区二区三区| 欧美电影免费观看高清完整版在| 一区二区三区精品在线观看| 99re热这里只有精品视频| 26uuu亚洲婷婷狠狠天堂| 日韩制服丝袜av| 欧美婷婷六月丁香综合色| 亚洲日本免费电影| 91片黄在线观看| 亚洲精品网站在线观看| 色综合天天综合在线视频| 中文字幕精品三区| 成人av手机在线观看| √…a在线天堂一区| 99精品国产热久久91蜜凸| 国产精品伦理一区二区| 国产 日韩 欧美大片| 欧美国产日韩在线观看| 国产一区二区三区四区在线观看| 久久综合色婷婷| 成人性生交大片| 国产精品全国免费观看高清 | 成人免费黄色在线| 国产精品久久国产精麻豆99网站 | 国产一区二区三区| 午夜成人免费电影| 欧美一区二区人人喊爽| 久久精品国产网站| 久久久久久黄色| proumb性欧美在线观看| 亚洲乱码国产乱码精品精98午夜 | 国产裸体歌舞团一区二区| 2014亚洲片线观看视频免费| 国产宾馆实践打屁股91| 日韩理论片中文av| 欧美日韩你懂的| 麻豆精品久久久| 亚洲国产精品av| 欧美视频中文字幕| 精品一区二区三区日韩| 国产精品免费av| 欧美日韩成人一区二区| 国产精选一区二区三区| 中文字幕在线不卡一区二区三区| 色综合一区二区| 玖玖九九国产精品| 日韩码欧中文字| 日韩午夜小视频| 91视频xxxx| 麻豆91精品91久久久的内涵| 国产亚洲一本大道中文在线| 色婷婷狠狠综合| 久久精品噜噜噜成人88aⅴ | 欧美激情自拍偷拍| 欧美视频一区二区三区四区| 久久爱www久久做| 亚洲色图欧美激情| 精品处破学生在线二十三| av一区二区三区四区| 蜜臀av亚洲一区中文字幕| 1区2区3区欧美| 久久亚洲精精品中文字幕早川悠里| 91在线观看免费视频| 日本午夜一本久久久综合| 亚洲欧美一区二区视频| 精品粉嫩aⅴ一区二区三区四区| 色久综合一二码| 国产成人免费高清| 毛片一区二区三区| 一区二区三区在线免费| 中文字幕巨乱亚洲| 欧美一区二区三区不卡| 欧美亚洲一区二区在线| 成人激情动漫在线观看| 精品一区二区三区在线播放视频| 亚洲综合色在线| 中文字幕亚洲欧美在线不卡| 26uuu欧美| 精品成人一区二区三区四区| 欧美一区二区在线不卡| 69久久夜色精品国产69蝌蚪网| 色妹子一区二区| 91女神在线视频| 99久久精品免费看国产|