Mochi 1

Mochi 1是由Genmo公司推出的一款開源視頻生成模型，憑借其卓越的動作質量和出色的用戶提示遵循能力而備受矚目。該模型在Apache 2.0許可證下發布，允許個人和商業用戶免費使用。目前提供480p的基礎版本，預計年底前將推出720p高清版本Mochi 1 HD，以實現更高的畫質和更流暢的動作表現。

Mochi 1是什么

Mochi 1是Genmo公司開發的開源AI視頻生成模型，專注于高質量的動作生成和精準的用戶提示響應。該模型基于Apache 2.0許可證，允許用戶在個人和商業項目中使用。當前版本提供480p的分辨率，計劃在年底推出更高分辨率的Mochi 1 HD版本，旨在提供更真實的視覺體驗和流暢的動作效果。用戶可以在Hugging Face平臺上找到Mochi 1的模型權重和架構，Genmo還提供了一個在線游樂場，讓用戶可以免費體驗Mochi 1的強大功能。

Mochi 1的主要功能

• 高保真度動作生成：Mochi 1在動作生成方面表現卓越，能夠創建流暢且符合物理規律的視頻，包括流體動力學、毛發動態等，提供連貫自然的人類動作表現，逐漸克服了“恐怖谷”效應。
• 精準的提示遵循能力：Mochi 1能夠準確解析用戶的提示，生成符合預期的視頻內容。該模型通過結合文本和視覺標記，類似于Stable Diffusion 3，采用流式架構，其參數量幾乎是文本流的四倍，顯著提升了生成的準確性。
• 開源架構：Mochi 1的模型權重和源代碼依據Apache 2.0開源許可證發布，用戶可以下載并使用，適用于個人及商業用途。
• 高效能處理：Mochi 1利用Genmo自研的非對稱擴散變壓器（Asymmetric Diffusion Transformer，簡稱AsymmDiT）架構，專注于視覺效果的同時簡化文本處理，能更高效地處理用戶提示和視頻數據。
• 在線游樂場：Genmo提供了一個全新的在線游樂場，用戶可以在此免費試用Mochi 1的功能，親身體驗視頻生成的樂趣。
• 高參數量：Mochi 1采用了100億參數的擴散模型，確保了生成結果的高準確性和多樣性。

Mochi 1的技術原理

• 非對稱擴散變壓器（AsymmDiT）架構：Mochi 1采用了Genmo自主研發的非對稱擴散變壓器架構，此架構通過簡化文本處理，專注于視覺效果，有效處理用戶提示并壓縮視頻令牌。AsymmDiT結合文本和視覺標記生成視頻，類似于Stable Diffusion 3，但其流式架構在隱藏維度上更大，參數數量幾乎是文本流的四倍，同時其非對稱設計減少了部署時的內存占用。
• 實時視頻生成技術：Mochi 1運用金字塔注意力廣播（Pyramid Attention Broadcast，PAB）技術，減少冗余的注意力計算，達到了21.6 FPS的高幀率和10.6倍的加速，而不犧牲視頻生成質量。這項技術為未來基于DiT的視頻生成模型提供了加速支持，使其具備實時生成的潛力。

Mochi 1的項目地址

• 項目官網：genmo.ai/blog
• HuggingFace模型庫：https://huggingface.co/genmo/mochi-1-preview
• 在線體驗：https://www.genmo.ai/play

Mochi 1的應用場景

• 視頻內容創作：Mochi 1可用于生成高質量的視頻內容，包括動畫、特效和短片，為視頻制作人和藝術家提供強有力的創作工具。
• 教育與培訓：在教育領域，Mochi 1能夠生成教學視頻，幫助解釋復雜概念或模擬實驗過程，從而提升學習效果。
• 娛樂與游戲：在游戲和娛樂行業，Mochi 1可以用于生成游戲中的動態背景視頻或故事情節，增強玩家的沉浸感。
• 廣告與營銷：Mochi 1可以幫助企業生成吸引眼球的廣告視頻，以更低的成本創造更具吸引力的廣告內容。
• 社交媒體：在社交媒體平臺上，Mochi 1可以幫助內容創作者生成獨特的視頻內容，吸引更多的關注和互動。
• 新聞與報道：在新聞行業，Mochi 1能夠生成新聞報道的背景視頻或模擬的動態視覺效果，提升報道的吸引力。