爱情岛亚洲论坛在线观看,亚洲伊人久久精品影院,亚洲精品无码国产片

MiniGPT-v2多模態(tài)官網(wǎng)

MiniGPT-v2：大型語言模型作為視覺語言多任務(wù)學(xué)習(xí)的統(tǒng)一接口
網(wǎng)站服務(wù)：MiniGPT-v2。

隨著GPT-4V多模態(tài)模型的發(fā)布，具備圖像識別的大語言模型，正在成為未來的趨勢。
近日，KAUST 團(tuán)隊(duì)以及來自 Meta 的研究者宣布，他們將 MiniGPT-4 重磅升級到了 MiniGPT-v2 版本。

論文地址：https://arxiv.org/pdf/2310.09478.pdf
論文主頁：https://minigpt-v2.github.io/
Demo: https://minigpt-v2.github.io/
代碼：https://github.com/Vision-CAIR/MiniGPT-4

具體而言，MiniGPT-v2 可以作為一個統(tǒng)一的接口來更好地處理各種視覺 – 語言任務(wù)。同時(shí)，本文建議在訓(xùn)練模型時(shí)對不同的任務(wù)使用唯一的識別符號，這些識別符號有利于模型輕松的區(qū)分每個任務(wù)指令，并提高每個任務(wù)模型的學(xué)習(xí)效率。

為了評估 MiniGPT-v2 模型的性能，研究者對不同的視覺 – 語言任務(wù)進(jìn)行了廣泛的實(shí)驗(yàn)。結(jié)果表明，與之前的視覺 – 語言通用模型（例如 MiniGPT-4、InstructBLIP、 LLaVA 和 Shikra）相比，MiniGPT-v2 在各種基準(zhǔn)上實(shí)現(xiàn)了 SOTA 或相當(dāng)?shù)男阅堋＠?MiniGPT-v2 在 VSR 基準(zhǔn)上比 MiniGPT-4 高出 21.3%，比 InstructBLIP 高出 11.3%，比 LLaVA 高出 11.7%。

MiniGPT-v2 模型架構(gòu)如下圖所示，它由三個部分組成：視覺主干、線性投影層和大型語言模型。

視覺主干：MiniGPT-v2 采用 EVA 作為主干模型，并且在訓(xùn)練期間會凍結(jié)視覺主干。訓(xùn)練模型的圖像分辨率為 448×448 ，并插入位置編碼來擴(kuò)展更高的圖像分辨率。

線性投影層：本文旨在將所有的視覺 token 從凍結(jié)的視覺主干投影到語言模型空間中。然而，對于更高分辨率的圖像（例如 448×448），投影所有的圖像 token 會導(dǎo)致非常長的序列輸入（例如 1024 個 token），顯著降低了訓(xùn)練和推理效率。因此，本文簡單地將嵌入空間中相鄰的 4 個視覺 token 連接起來，并將它們一起投影到大型語言模型的同一特征空間中的單個嵌入中，從而將視覺輸入 token 的數(shù)量減少了 4 倍。

大型語言模型：MiniGPT-v2 采用開源的 LLaMA2-chat (7B) 作為語言模型主干。在該研究中，語言模型被視為各種視覺語言輸入的統(tǒng)一接口。本文直接借助 LLaMA-2 語言 token 來執(zhí)行各種視覺語言任務(wù)。對于需要生成空間位置的視覺基礎(chǔ)任務(wù)，本文直接要求語言模型生成邊界框的文本表示以表示其空間位置。

Mini-GPT不但可以識別圖中的物體，還能標(biāo)注不同物體所在的區(qū)域。

你也可以不加任何任務(wù)識別符合，和圖片進(jìn)行對話：

目前，Mini-GPT已經(jīng)提供了免費(fèi)的Demo。

MiniGPT-v2多模態(tài)網(wǎng)址入口

https://minigpt-v2.github.io/

MiniGPT-v2多模態(tài)

OpenI小編發(fā)現(xiàn)MiniGPT-v2多模態(tài)網(wǎng)站非常受用戶歡迎，請?jiān)L問MiniGPT-v2多模態(tài)網(wǎng)址入口試用。

數(shù)據(jù)評估

MiniGPT-v2多模態(tài)瀏覽人數(shù)已經(jīng)達(dá)到713，如你需要查詢該站的相關(guān)權(quán)重信息，可以點(diǎn)擊"5118數(shù)據(jù)""愛站數(shù)據(jù)""Chinaz數(shù)據(jù)"進(jìn)入；以目前的網(wǎng)站數(shù)據(jù)參考，建議大家請以愛站數(shù)據(jù)為準(zhǔn)，更多網(wǎng)站價(jià)值評估因素如：MiniGPT-v2多模態(tài)的訪問速度、搜索引擎收錄以及索引量、用戶體驗(yàn)等；當(dāng)然要評估一個站的價(jià)值，最主要還是需要根據(jù)您自身的需求以及需要，一些確切的數(shù)據(jù)則需要找MiniGPT-v2多模態(tài)的站長進(jìn)行洽談提供。如該站的IP、PV、跳出率等！

特別聲明

本站OpenI提供的MiniGPT-v2多模態(tài)都來源于網(wǎng)絡(luò)，不保證外部鏈接的準(zhǔn)確性和完整性，同時(shí)，對于該外部鏈接的指向，不由OpenI實(shí)際控制，在2023年 10月 20日上午6:02收錄時(shí)，該網(wǎng)頁上的內(nèi)容，都屬于合規(guī)合法，后期網(wǎng)頁的內(nèi)容如出現(xiàn)違規(guī)，可以直接聯(lián)系網(wǎng)站管理員進(jìn)行刪除，OpenI不承擔(dān)任何責(zé)任。

OpenI致力于優(yōu)質(zhì)、實(shí)用的網(wǎng)絡(luò)站點(diǎn)資源收集與分享！本文地址http://m.futurefh.com/sites/109590.html轉(zhuǎn)載請注明