TeleAI 視頻生成大模型是中國(guó)電信AI研究院推出的一款先進(jìn)視頻生成工具，采用創(chuàng)新的兩階段生成框架。該模型首先根據(jù)用戶提供的文本描述繪制分鏡頭草圖，隨后基于該草圖生成完整視頻。TeleAI 確保視頻中主體外觀的一致性，并在復(fù)雜場(chǎng)景和動(dòng)作之間實(shí)現(xiàn)流暢過(guò)渡，遵循物理規(guī)律和常識(shí)，為短劇創(chuàng)作提供了強(qiáng)大的技術(shù)支持。

TeleAI 視頻生成大模型是什么

TeleAI 視頻生成大模型是中國(guó)電信AI研究院研發(fā)的一款視頻生成工具，利用兩階段生成框架：首先將文本描述轉(zhuǎn)化為分鏡頭草圖，然后根據(jù)草圖生成視頻內(nèi)容。該模型能夠確保視頻中主體外觀的一致性，精確控制動(dòng)作和外觀，從而實(shí)現(xiàn)復(fù)雜場(chǎng)景與動(dòng)作的流暢過(guò)渡，遵循物理規(guī)律與常識(shí)。VAST技術(shù)在視頻生成質(zhì)量的多個(gè)維度上表現(xiàn)優(yōu)異，尤其在主體一致性和物理規(guī)律遵循方面，VBench測(cè)試中的人體動(dòng)作和物體分類均取得滿分，為AI短劇創(chuàng)作提供了強(qiáng)有力的技術(shù)支撐。

TeleAI 視頻生成大模型的主要功能

• 視頻生成：根據(jù)文本描述自動(dòng)生成視頻內(nèi)容，確保主體外觀的一致性。
• 分鏡頭繪制：將文本描述轉(zhuǎn)化為包含人物姿勢(shì)、場(chǎng)景布局等關(guān)鍵信息的分鏡頭。
• 精確控制：對(duì)視頻中主體的位置、動(dòng)作和外觀進(jìn)行精細(xì)控制，實(shí)現(xiàn)復(fù)雜動(dòng)作的精準(zhǔn)模擬。
• 遵循物理規(guī)律：確保視頻中的動(dòng)作和物體符合物理定律，避免不自然的扭曲變形。
• 多場(chǎng)景連續(xù)性：在多個(gè)場(chǎng)景之間保持目標(biāo)主體外觀的一致性，實(shí)現(xiàn)場(chǎng)景間的流暢轉(zhuǎn)換。

TeleAI 視頻生成大模型的技術(shù)原理

• VAST技術(shù)：該模型采用“VAST（Video As Storyboard from Text）”二階段視頻生成技術(shù)，通過(guò)文本描述精準(zhǔn)構(gòu)建出包含視頻構(gòu)圖、主置及人物姿態(tài)等信息的“故事板”，進(jìn)而生成相應(yīng)的視頻內(nèi)容。
• 外觀一致性與動(dòng)作控制：借助VAST技術(shù)，視頻生成大模型確保單個(gè)或多個(gè)主體在各個(gè)片段中的外觀一致性，實(shí)現(xiàn)對(duì)復(fù)雜動(dòng)作及交互的精確控制，使角色和物體符合物理規(guī)律。
• 全棧大模型能力：通過(guò)語(yǔ)義、語(yǔ)音、文生圖、文生視頻等全棧大模型能力，TeleAI打通了短劇及影視制作的各個(gè)環(huán)節(jié)，包括腳本撰寫(xiě)、分鏡腳本繪制、視頻拍攝及剪輯、配音與音效合成等全流程，顯著提高了制作效率，降低成本。

• 二階段生成框架：通過(guò)兩階段生成框架，該模型先繪制分鏡，再生成視頻，顯著提升短劇創(chuàng)作過(guò)程的可控性。第一階段將文字描述轉(zhuǎn)換為一系列分鏡，第二階段基于這些分鏡生成視頻畫(huà)面，確保每個(gè)動(dòng)作和場(chǎng)景都準(zhǔn)確無(wú)誤，武打場(chǎng)面既符合物理規(guī)律又富有觀賞性。

TeleAI 視頻生成大模型的應(yīng)用場(chǎng)景

• 影視制作：生成電影或電視劇的初步剪輯版本，尤其在特效場(chǎng)景制作上，降低實(shí)拍成本與風(fēng)險(xiǎn)，提高制作效率。
• 廣告行業(yè)：根據(jù)產(chǎn)品特點(diǎn)快速制作動(dòng)態(tài)廣告內(nèi)容，實(shí)現(xiàn)廣告創(chuàng)意的快速原型設(shè)計(jì)與測(cè)試，快速適應(yīng)市場(chǎng)變化。
• 教育與培訓(xùn)：創(chuàng)建模擬場(chǎng)景進(jìn)行安全教育與應(yīng)急演練，制作教學(xué)視頻，如科學(xué)實(shí)驗(yàn)、歷史重現(xiàn)等，提升教育的互動(dòng)性與趣味性。
• 游戲開(kāi)發(fā)：在游戲開(kāi)發(fā)中，生成游戲內(nèi)動(dòng)態(tài)劇情與過(guò)場(chǎng)動(dòng)畫(huà)，幫助設(shè)計(jì)師快速原型設(shè)計(jì)，測(cè)試游戲劇情與角色互動(dòng)。
• 新聞與報(bào)道：快速生成新聞報(bào)道視頻，提高新聞制作效率，同時(shí)制作新聞背景視頻，增強(qiáng)報(bào)道的視覺(jué)效果與信息傳達(dá)。