在線教程丨與 Sora 技術(shù)路線相似！全球首個開源文生視頻 DiT 模型 Latte 一鍵部署

AIGC動態(tài)歡迎閱讀

原標(biāo)題：在線教程丨與 Sora 技術(shù)路線相似！全球首個開源文生視頻 DiT 模型 Latte 一鍵部署
關(guān)鍵字：視頻,模型,教程,神經(jīng),技術(shù)
文章來源：HyperAI超神經(jīng)
內(nèi)容字?jǐn)?shù)：4982字

內(nèi)容摘要：

作者：十九
編輯：李寶珠，三羊
上海人工智能實驗室開源了全球首個文生視頻 DiT—— Latte，作為一款與 Sora 技術(shù)相似的自研模型，Latte 可以部署，應(yīng)用于影視動畫制作、游戲開發(fā)和廣告設(shè)計等領(lǐng)域，對于想要探索文生視頻技術(shù)的小伙伴來說，開源的 Latte 無疑為大家提供了可供實踐的機會。自 OpenAI 推出 Sora 以來，「文生視頻」概念及相關(guān)應(yīng)用備受矚目。而伴隨 Sora 的大熱，其背后的關(guān)鍵技術(shù)，DiT (Diffusion Transformers)也被「考古挖掘」了出來。事實上，DiT 是一個文生圖模型，該模型于兩年前開源，其研發(fā)人員分別是 Peebles 和謝賽寧，其中 Peebles 也是 Sora 的項目領(lǐng)導(dǎo)者之一。
在 DiT 模型提出之前，Transformer 以其強大的特征提取和上下文理解能力，幾乎在自然語言處理領(lǐng)域獨霸一方。而 U-Net 則以其獨特架構(gòu)和優(yōu)越的性能，在圖像生成和擴散模型領(lǐng)域占據(jù)主導(dǎo)地位。DiT 最大的特點是把擴散模型里的 U-Net 架構(gòu)換成了 Transformer 架構(gòu)。有趣的是，這項工作成果在 2023 年曾被 CVPR

原文鏈接：在線教程丨與 Sora 技術(shù)路線相似！全球首個開源文生視頻 DiT 模型 Latte 一鍵部署

聯(lián)系作者

文章來源：HyperAI超神經(jīng)
作者微信：HyperAI
作者簡介：解構(gòu)技術(shù)先進性與普適性，解讀更前沿的 AIForScience 案例