国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

統一SAM2和LLaVA!字節豆包提出Dense Video多模態大模型Sa2VA

AIGC動態7個月前發布 機器之心
416 0 0

第一個結合SAM-2和LLaVA-like的視頻多模態大模型

統一SAM2和LLaVA!字節豆包提出Dense Video多模態大模型Sa2VA

原標題:統一SAM2和LLaVA!字節豆包提出Dense Video多模態大模型Sa2VA
文章來源:機器之心
內容字數:8977字

Sa2VA:首個結合SAM-2和LLaVA-like的視頻多模態大模型

本文介紹了來自字節跳動、北京大學等機構研究者提出的Sa2VA模型,這是市面上第一個結合SAM-2和LLaVA-like架構的視頻多模態大模型。Sa2VA整合了SAM-2的感知能力和LLaVA的推理能力,實現了時空細粒度的視頻理解,并在多個視頻和圖像理解任務上取得了領先效果。

1. 研究背景和動機

近年來,多模態大語言模型取得了顯著進展,能夠支持圖像對話、視頻對話等多種任務。然而,現有模型在細粒度圖像和視頻理解方面存在不足:感知模型缺乏自然語言推理能力,而多模態大語言模型缺乏感知能力,特別是視頻分割能力。Sa2VA旨在結合兩者的優勢,構建一個統一的模型,支持圖像、視頻細粒度感知以及對話、分析等任務。

2. 模型設計與實現

Sa2VA的核心設計理念是將所有輸入(文本、視覺提示、圖像、視頻)統一編碼為令牌,進行聯合訓練。模型主要包含兩部分:多模態大語言模型和SAM-2模型。多模態大語言模型負責處理文本和視覺信息,SAM-2模型負責分割任務。兩者通過“[SEG]”令牌連接,實現信息的交互和傳遞。對于視頻指代分割,Sa2VA利用關鍵幀和SAM-2的記憶編碼器實現高效的跟蹤和分割。

3. 訓練方法

Sa2VA采用統一的指令微調格式,整合了圖像和視頻Referring Expression Segmentation (RES)、Visual Question Answering (VQA)、Grounded Conversation Generation (GCG)等多種任務,并使用不同的損失函數進行聯合訓練。得益于預訓練的多模態大語言模型,Sa2VA無需額外的預訓練階段。

4. Ref-SAM-v Benchmark

研究者還提出了一個新的Benchmark,Ref-SAM-2v,以及對應的訓練數據集,該數據集相比于之前的Ref-VOS數據集更具挑戰性。

5. 數值結果與可視化

Sa2VA在13個公開數據集上的5個不同任務中取得了領先的結果,并在提出的Ref-SAM-v benchmark上也大幅領先現有工作??梢暬Y果展示了Sa2VA在圖像和視頻字幕生成、對話、指代對象分割、GCG、視覺指代物體描述等任務上的出色性能,并能擴展到開放場景。

6. 總結

Sa2VA 通過巧妙地結合SAM-2和LLaVA-like模型的優勢,并采用創新的訓練方法,在視頻多模態理解領域取得了突破性進展。其在細粒度視頻理解和多種下游任務上的優異表現,為未來多模態大模型的發展提供了新的方向。


聯系作者

文章來源:機器之心
作者微信:
作者簡介:專業的人工智能媒體和產業服務平臺

閱讀原文
? 版權聲明
蟬鏡AI數字人

相關文章

蟬鏡AI數字人

暫無評論

暫無評論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        在线综合视频播放| 成人动漫中文字幕| 成人黄色综合网站| 国产丝袜美腿一区二区三区| 国内精品久久久久影院色| 26uuu精品一区二区三区四区在线| 蜜桃一区二区三区在线| 精品999在线播放| 成人永久免费视频| 亚洲一区二区影院| 精品国产一区二区亚洲人成毛片 | 三级影片在线观看欧美日韩一区二区 | 成人avav在线| 亚洲精品菠萝久久久久久久| 69av一区二区三区| 国产精品99久久久久| 性做久久久久久| 国产精品三级视频| 日韩小视频在线观看专区| 成年人网站91| 麻豆精品国产传媒mv男同| 日韩伦理av电影| 久久亚洲一区二区三区明星换脸 | 欧美另类久久久品| 丁香另类激情小说| 另类小说图片综合网| 亚洲六月丁香色婷婷综合久久| 91精品一区二区三区久久久久久| 成人国产电影网| 久久av资源站| 日韩影院在线观看| 亚洲一区二区三区四区的| 国产精品欧美一区喷水| 欧美一区二区三区日韩视频| 99视频一区二区| 国产成人av影院| 久久精品国产精品亚洲综合| 一区二区国产盗摄色噜噜| 久久精品人人爽人人爽| 欧美成人精品二区三区99精品| 欧美中文字幕亚洲一区二区va在线| 国产一区二区伦理片| 美女国产一区二区三区| 午夜一区二区三区视频| 亚洲区小说区图片区qvod| 久久综合色播五月| 日韩美女在线视频| 日韩一级免费观看| 91精品啪在线观看国产60岁| 在线欧美日韩精品| 色视频欧美一区二区三区| 国产a久久麻豆| 丰满白嫩尤物一区二区| 国产成人综合自拍| 国产aⅴ综合色| 成人激情小说网站| 91亚洲大成网污www| 99re这里都是精品| 色乱码一区二区三区88| 色天天综合色天天久久| 欧美性色欧美a在线播放| 欧美主播一区二区三区美女| 色悠悠久久综合| 欧美日韩一区二区三区在线看| 欧美视频中文字幕| 欧美一级一级性生活免费录像| 欧美一区二区免费视频| 欧美va亚洲va在线观看蝴蝶网| 欧美大肚乱孕交hd孕妇| 国产视频一区在线观看| 亚洲欧美偷拍三级| 亚洲成人tv网| 国产一区二区女| 色综合久久九月婷婷色综合| 欧美探花视频资源| 日韩一区二区在线播放| 久久综合久久鬼色| 亚洲欧洲性图库| 婷婷国产v国产偷v亚洲高清| 老司机精品视频一区二区三区| 国产成人精品网址| 欧美性受xxxx黑人xyx性爽| 日韩欧美国产不卡| 18成人在线观看| 美日韩黄色大片| av亚洲产国偷v产偷v自拍| 欧美日韩亚洲综合在线| 亚洲精品一区二区在线观看| 中文字幕中文字幕一区| 日本大胆欧美人术艺术动态| 从欧美一区二区三区| 欧美日韩国产成人在线免费| 国产视频911| 香蕉乱码成人久久天堂爱免费| 国产乱码一区二区三区| 欧美在线你懂的| 久久久久国产一区二区三区四区| 亚洲丝袜制服诱惑| 国内精品伊人久久久久影院对白| 欧美自拍偷拍一区| 中文一区二区完整视频在线观看| 图片区小说区区亚洲影院| 99天天综合性| 久久看人人爽人人| 青青国产91久久久久久| 日本精品一区二区三区高清| 久久午夜色播影院免费高清 | 五月激情六月综合| 成人h精品动漫一区二区三区| 欧美一区三区四区| 亚洲天堂免费看| 国产精选一区二区三区| 678五月天丁香亚洲综合网| 日韩一区有码在线| 国产一区二区在线视频| 91精品国产乱码久久蜜臀| 亚洲欧美区自拍先锋| 成人av动漫网站| 国产精品天美传媒| 成人国产在线观看| 国产精品视频一二三| 国产精品白丝av| 久久久久亚洲蜜桃| 国产精品一二三区| 久久青草欧美一区二区三区| 免费不卡在线观看| 欧美videossexotv100| 老色鬼精品视频在线观看播放| 欧美日韩精品一区二区三区四区| 亚洲日本一区二区| 91国模大尺度私拍在线视频| 亚洲美女视频一区| 欧美影视一区二区三区| 亚洲一区免费视频| 欧美日本一区二区三区四区| 五月天欧美精品| 欧美变态tickle挠乳网站| 久久99久久精品欧美| 久久精品欧美日韩精品| 成人黄色在线网站| 一区二区三区在线影院| 欧美日韩精品一区二区三区| 亚洲国产精品人人做人人爽| 欧美日韩视频在线一区二区| 美女被吸乳得到大胸91| 久久久天堂av| 99精品黄色片免费大全| 亚洲成a人片在线不卡一二三区 | 亚洲精品乱码久久久久久日本蜜臀| 99精品久久久久久| 亚洲一区影音先锋| 日韩欧美综合一区| 成人动漫精品一区二区| 亚洲成av人片在线观看无码| 欧美成人video| 99久久精品免费看国产免费软件| 亚洲卡通欧美制服中文| 日韩欧美在线网站| 成人免费高清在线| 亚洲chinese男男1069| 久久色在线观看| 91福利在线观看| 毛片av中文字幕一区二区| 国产精品乱码一区二三区小蝌蚪| 欧美自拍偷拍午夜视频| 国产精品一区一区三区| 亚洲风情在线资源站| 久久久久88色偷偷免费| 日本韩国一区二区三区视频| 精品中文字幕一区二区小辣椒| 中文字幕日韩一区| 欧美一区二区三区不卡| 91亚洲国产成人精品一区二区三| 琪琪一区二区三区| 亚洲视频一二三| 久久综合成人精品亚洲另类欧美| 日本韩国欧美三级| 成人小视频在线| 毛片不卡一区二区| 亚洲国产成人tv| 国产精品系列在线| 日韩欧美高清一区| 欧美日韩视频专区在线播放| aaa欧美日韩| 国产一区二区三区最好精华液| 亚洲图片有声小说| 亚洲男人的天堂网| 中文字幕精品一区| 精品国产百合女同互慰| 欧美精品在线观看播放| 一本色道久久综合亚洲91| 国产盗摄视频一区二区三区| 日本午夜精品视频在线观看| 亚洲一区二区三区四区五区黄| 国产精品成人在线观看| 久久综合久久99| 日韩欧美国产一区二区在线播放| 欧美亚洲国产一区二区三区va| 91在线观看免费视频| 成人h精品动漫一区二区三区|