GPT-4V開源平替！清華浙大領(lǐng)銜，LLaVA、CogAgent等開源視覺模型大爆發(fā)

AIGC動態(tài)歡迎閱讀

原標(biāo)題：GPT-4V開源平替！清華浙大領(lǐng)銜，LLaVA、CogAgent等開源視覺模型大爆發(fā)
關(guān)鍵字：視覺,模型,用戶界面,海灘,圖形
文章來源：新智元
內(nèi)容字?jǐn)?shù)：4670字

內(nèi)容摘要：

新智元報(bào)道編輯：Aeneas
【新智元導(dǎo)讀】GPT-4V的開源替代方案來了！極低成本，性能卻類似，清華、浙大等中國頂尖學(xué)府，為我們提供了性能優(yōu)異的GPT-4V開源平替。如今，GPT-4 Vision在語言理解和視覺處理方面展現(xiàn)出了非凡的能力。
然而，如果想在不影響性能的前提下，尋求具有成本效益的替代方案，開源方案就蘊(yùn)藏著無限可能。
國外的一位開發(fā)者Youssef Hosni為大家奉上了三種GPT-4V的開源替代方案，可訪問性絕對可以保障。
三種開源視覺語言模型LLaVa、CogAgent和BakLLaVA，在視覺處理領(lǐng)域具有極大的潛力。
LLaVaLLaVA是端到端訓(xùn)練的多模態(tài)大模型，來自威斯康星大學(xué)麥迪遜分校、微軟研究院以及哥倫比亞大學(xué)的研究人員，最初的版本在4月發(fā)布。
它將視覺編碼器和用于通用視覺和語言理解的Vicuna 結(jié)合在?起，實(shí)現(xiàn)了令人印象深刻的能力。
10月份，升級后的LLaVA-1.5的表現(xiàn)已經(jīng)接近多模態(tài)GPT-4，在Science QA數(shù)據(jù)集上取得了SOTA。
13B模型的訓(xùn)練，只需要8個A100就可以在1天內(nèi)完成。
可以看到，LLaVA能處理各類問題，且生成的

原文鏈接：GPT-4V開源平替！清華浙大領(lǐng)銜，LLaVA、CogAgent等開源視覺模型大爆發(fā)

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對人類社會與文明進(jìn)化的影響，領(lǐng)航中國新智能時代。