蘇劍林：“閉門造車”之多模態(tài)模型方案淺談

AIGC動態(tài)歡迎閱讀

原標(biāo)題：蘇劍林：“閉門造車”之多模態(tài)模型方案淺談
關(guān)鍵字：圖像,模型,報告,解讀,文本
文章來源：算法邦
內(nèi)容字?jǐn)?shù)：14978字

內(nèi)容摘要：

智猩猩和智東西發(fā)起主辦的2024中國生成式AI大會將于4月18-19日在北京舉辦。主會場將進行開幕式、大模型專場、AI Infra專場和AIGC應(yīng)用專場；分會場將進行具身智能技術(shù)研討會、AI智能體技術(shù)研討會和中國智算中心創(chuàng)新論壇。掃名，也可咨詢。導(dǎo)讀本文作者為蘇劍林，來自月之暗面。這篇文章分享一下筆者關(guān)于多模態(tài)模型架構(gòu)的一些想法，或者說一些猜測。這篇文章分享一下筆者關(guān)于多模態(tài)模型架構(gòu)的一些閉門造車的想法，或者說一些猜測。
最近 Google 的 Gemini 1.5 [1] 和 OpenAI 的 Sora [2] 再次點燃了不少人對多模態(tài)的熱情，只言片語的技術(shù)報告也引起了大家對其背后模型架構(gòu)的熱烈猜測。不過，本文并非是為了湊這個熱鬧才發(fā)出來的，事實上其中的一些思考由來已久，最近才勉強捋順了一下，遂想寫出來跟大家交流一波，剛好碰上了兩者的發(fā)布。
事先聲明，“閉門造車”一詞并非自謙，筆者的大模型實踐本就“乏善可陳”，而多模態(tài)實踐更是幾乎“一片空白”，本文確實只是根據(jù)以往文本生成和圖像生成的一些經(jīng)驗所做的“主觀臆測”。
01問題背景首先簡化一下問題，本文所討論的多模態(tài)，主要指圖文混合的雙

原文鏈接：蘇劍林：“閉門造車”之多模態(tài)模型方案淺談

聯(lián)系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：智猩猩矩陣賬號之一，連接AI新青年，講解研究成果，分享系統(tǒng)思考。