亚洲人成在线播放,亚洲av无码专区首页,久久久亚洲欧洲日产国码是AV

MiniGPT-v2多模態官網

MiniGPT-v2：大型語言模型作為視覺語言多任務學習的統一接口
網站服務：MiniGPT-v2。

隨著GPT-4V多模態模型的發布，具備圖像識別的大語言模型，正在成為未來的趨勢。
近日，KAUST 團隊以及來自 Meta 的研究者宣布，他們將 MiniGPT-4 重磅升級到了 MiniGPT-v2 版本。

論文地址：https://arxiv.org/pdf/2310.09478.pdf
論文主頁：https://minigpt-v2.github.io/
Demo: https://minigpt-v2.github.io/
代碼：https://github.com/Vision-CAIR/MiniGPT-4

具體而言，MiniGPT-v2 可以作為一個統一的接口來更好地處理各種視覺 – 語言任務。同時，本文建議在訓練模型時對不同的任務使用唯一的識別符號，這些識別符號有利于模型輕松的區分每個任務指令，并提高每個任務模型的學習效率。

為了評估 MiniGPT-v2 模型的性能，研究者對不同的視覺 – 語言任務進行了廣泛的實驗。結果表明，與之前的視覺 – 語言通用模型（例如 MiniGPT-4、InstructBLIP、 LLaVA 和 Shikra）相比，MiniGPT-v2 在各種基準上實現了 SOTA 或相當的性能。例如 MiniGPT-v2 在 VSR 基準上比 MiniGPT-4 高出 21.3%，比 InstructBLIP 高出 11.3%，比 LLaVA 高出 11.7%。

MiniGPT-v2 模型架構如下圖所示，它由三個部分組成：視覺主干、線性投影層和大型語言模型。

視覺主干：MiniGPT-v2 采用 EVA 作為主干模型，并且在訓練期間會凍結視覺主干。訓練模型的圖像分辨率為 448×448 ，并插入位置編碼來擴展更高的圖像分辨率。

線性投影層：本文旨在將所有的視覺 token 從凍結的視覺主干投影到語言模型空間中。然而，對于更高分辨率的圖像（例如 448×448），投影所有的圖像 token 會導致非常長的序列輸入（例如 1024 個 token），顯著降低了訓練和推理效率。因此，本文簡單地將嵌入空間中相鄰的 4 個視覺 token 連接起來，并將它們一起投影到大型語言模型的同一特征空間中的單個嵌入中，從而將視覺輸入 token 的數量減少了 4 倍。

大型語言模型：MiniGPT-v2 采用開源的 LLaMA2-chat (7B) 作為語言模型主干。在該研究中，語言模型被視為各種視覺語言輸入的統一接口。本文直接借助 LLaMA-2 語言 token 來執行各種視覺語言任務。對于需要生成空間位置的視覺基礎任務，本文直接要求語言模型生成邊界框的文本表示以表示其空間位置。

Mini-GPT不但可以識別圖中的物體，還能標注不同物體所在的區域。

你也可以不加任何任務識別符合，和圖片進行對話：

目前，Mini-GPT已經提供了免費的Demo。

MiniGPT-v2多模態網址入口

https://minigpt-v2.github.io/

MiniGPT-v2多模態

OpenI小編發現MiniGPT-v2多模態網站非常受用戶歡迎，請訪問MiniGPT-v2多模態網址入口試用。

數據統計

數據評估

MiniGPT-v2多模態瀏覽人數已經達到702，如你需要查詢該站的相關權重信息，可以點擊"5118數據""愛站數據""Chinaz數據"進入；以目前的網站數據參考，建議大家請以愛站數據為準，更多網站價值評估因素如：MiniGPT-v2多模態的訪問速度、搜索引擎收錄以及索引量、用戶體驗等；當然要評估一個站的價值，最主要還是需要根據您自身的需求以及需要，一些確切的數據則需要找MiniGPT-v2多模態的站長進行洽談提供。如該站的IP、PV、跳出率等！

特別聲明

本站OpenI提供的MiniGPT-v2多模態都來源于網絡，不保證外部鏈接的準確性和完整性，同時，對于該外部鏈接的指向，不由OpenI實際控制，在2023年 10月 20日上午6:02收錄時，該網頁上的內容，都屬于合規合法，后期網頁的內容如出現違規，可以直接聯系網站管理員進行刪除，OpenI不承擔任何責任。

OpenI致力于優質、實用的網絡站點資源收集與分享！本文地址http://m.futurefh.com/sites/109590.html轉載請注明