FastVideo官網(wǎng)

FastVideo是一個(gè)開源框架，旨在加速大型視頻擴(kuò)散模型。它提供了FastHunyuan和FastMochi兩種一致性蒸餾視頻擴(kuò)散模型，實(shí)現(xiàn)了8倍推理速度提升。FastVideo基于PCM（Phased-Consistency-Model）提供了首個(gè)開放的視頻DiT蒸餾配方，支持對(duì)最先進(jìn)的開放視頻DiT模型進(jìn)行蒸餾、微調(diào)和推理，包括Mochi和Hunyuan。此外，F(xiàn)astVideo還支持使用FSDP、序列并行和選擇性激活檢查點(diǎn)進(jìn)行可擴(kuò)展訓(xùn)練，以及使用LoRA、預(yù)計(jì)算潛在和預(yù)計(jì)算文本嵌入進(jìn)行內(nèi)存高效微調(diào)。FastVideo的開發(fā)正在進(jìn)行中，技術(shù)高度實(shí)驗(yàn)性，未來計(jì)劃包括增加更多蒸餾方法、支持更多模型以及代碼更新。

FastVideo是什么？

FastVideo是一個(gè)開源的輕量級(jí)框架，旨在加速大型視頻擴(kuò)散模型的推理速度。它提供了FastHunyuan和FastMochi兩種預(yù)訓(xùn)練的視頻擴(kuò)散模型，聲稱可以將推理速度提升8倍。該框架不僅支持模型推理，還支持基于PCM（Phased-Consistency-Model）的蒸餾、微調(diào)等功能，方便用戶對(duì)現(xiàn)有先進(jìn)模型（如Mochi和Hunyuan）進(jìn)行優(yōu)化和定制。FastVideo還支持多種高效訓(xùn)練技術(shù)，例如FSDP、序列并行和選擇性激活檢查點(diǎn)，以及LoRA、預(yù)計(jì)算潛在和預(yù)計(jì)算文本嵌入等內(nèi)存優(yōu)化策略。

FastVideo的主要功能

FastVideo的核心功能在于加速視頻擴(kuò)散模型的推理和訓(xùn)練。其主要功能包括：

• 高性能推理：提供FastHunyuan和FastMochi兩種模型，顯著提升推理速度。
• 模型蒸餾：基于PCM提供視頻DiT蒸餾配方，支持對(duì)Mochi和Hunyuan等模型進(jìn)行蒸餾。
• 模型微調(diào)：支持使用LoRA等技術(shù)進(jìn)行內(nèi)存高效的模型微調(diào)。
• 可擴(kuò)展訓(xùn)練：支持FSDP、序列并行和選擇性激活檢查點(diǎn)等技術(shù)，提升訓(xùn)練效率。
• 資源提供：提供預(yù)處理數(shù)據(jù)和預(yù)訓(xùn)練模型權(quán)重下載，方便用戶使用。

如何使用FastVideo？

FastVideo的使用相對(duì)簡(jiǎn)單，主要步驟如下：

1. 環(huán)境設(shè)置：運(yùn)行./env_setup.sh fastvideo設(shè)置環(huán)境。
2. 下載模型：使用提供的腳本下載FastHunyuan或FastMochi模型權(quán)重。
3. 推理：運(yùn)行對(duì)應(yīng)的推理腳本，例如sh scripts/inference/inference_hunyuan.sh。
4. 蒸餾：下載原始模型權(quán)重，使用bash scripts/distill/distill_mochi.sh或bash scripts/distill/distill_hunyuan.sh進(jìn)行蒸餾。
5. 微調(diào)：準(zhǔn)備并預(yù)處理數(shù)據(jù)，使用bash scripts/finetune/finetune_mochi.sh進(jìn)行微調(diào)。

FastVideo的產(chǎn)品價(jià)格

FastVideo是一個(gè)開源框架，完全免費(fèi)。

FastVideo常見問題

FastVideo支持哪些類型的視頻？
FastVideo支持的視頻類型取決于你使用的模型（FastHunyuan或FastMochi）。請(qǐng)參考模型的具體文檔了解其輸入要求。

如果我的硬件資源有限，F(xiàn)astVideo還能使用嗎？
FastVideo支持多種內(nèi)存優(yōu)化技術(shù)，例如LoRA和預(yù)計(jì)算嵌入，可以幫助你在資源有限的情況下運(yùn)行模型。但是，大型模型仍然需要較高的計(jì)算資源。

FastVideo的未來發(fā)展計(jì)劃是什么？
FastVideo的開發(fā)仍在進(jìn)行中，未來計(jì)劃包括增加更多蒸餾方法、支持更多模型以及持續(xù)的代碼更新。請(qǐng)關(guān)注GitHub頁(yè)面了解最新進(jìn)展。

FastVideo官網(wǎng)入口網(wǎng)址

https://github.com/hao-ai-lab/FastVideo

OpenI小編發(fā)現(xiàn)FastVideo網(wǎng)站非常受用戶歡迎，請(qǐng)?jiān)L問FastVideo網(wǎng)址入口試用。