巨人網(wǎng)絡(luò)推出的有聲游戲生成大模型

產(chǎn)品名稱：千影 QianYing
產(chǎn)品簡介：千影 QianYing是巨人網(wǎng)絡(luò)推出的有聲游戲生成大模型，包含游戲視頻生成大模型YingGame和視頻配音大模型YingSound。YingGame面向開放世界游戲，是巨人網(wǎng)絡(luò)AI Lab與清華大學(xué)SATLab聯(lián)合推出的，能實現(xiàn)角色多樣動作交互控制和物理仿真特性，與YingSound結(jié)合可生成匹配畫面的復(fù)雜音效。
詳細介紹：

千影 QianYing是什么

千影 QianYing是巨人網(wǎng)絡(luò)推出的有聲游戲生成大模型，包含游戲視頻生成大模型YingGame和視頻配音大模型YingSound。YingGame面向開放世界游戲，是巨人網(wǎng)絡(luò)AI Lab與清華大學(xué)SATLab聯(lián)合推出的，能實現(xiàn)角色多樣動作交互控制和物理仿真特性，與YingSound結(jié)合可生成匹配畫面的復(fù)雜音效。YingSound是巨人網(wǎng)絡(luò)AI Lab、西北工業(yè)大學(xué)ASLP Lab和浙江大合推出的，能為無聲視頻添加逼真音效，具備視頻語義理解和時間對齊能力。千影 QianYing旨在通過AI技術(shù)降低游戲開發(fā)門檻，推動游戲創(chuàng)作平權(quán)，加速“游戲+AI”創(chuàng)新。

千影 QianYing的主要功能

• YingGame的主要功能：
  • 角色動作交互控制：YingGame能實現(xiàn)角色多樣動作的交互控制，用戶能自定義游戲角色的動作和外觀。
  • 物理仿真特性：模型具備強大的物理模擬特性，能模擬真實世界的物理效果，增強游戲的真實感。
  • 視頻生成：結(jié)合自研的視頻配音大模型YingSound，YingGame能根據(jù)游戲畫面生成匹配的復(fù)雜音效，實現(xiàn)有聲游戲視頻的生成。
  • 交互能力：YingGame能理解用戶的輸入交互，如鼠標、鍵盤操作，控制角色進行多種動作。
• YingSound的主要功能：
  • 時間對齊與視頻語義理解：YingSound具備超強的時間對齊能力和視頻語義理解能力，能精確地為視頻添加音效。
  • 高精細度音效生成：模型能為各類視頻，包括真實場景、動漫和游戲視頻，生成多種類型的高精細度音效。
  • 多樣化應(yīng)用場景：YingSound支持從視頻或視頻文本結(jié)合的方式生成高保真音效，具備多樣化應(yīng)用場景的泛化能力。
  • 跨模態(tài)對齊效果：基于創(chuàng)新的技術(shù)架構(gòu)和強化學(xué)習(xí)，YingSound在生成效果、時間對齊及視頻語義理解等方面達到業(yè)界領(lǐng)先水平。

千影 QianYing的技術(shù)原理

• YingGame的技術(shù)原理：
  • 物理仿真特性：集成物理引擎模擬現(xiàn)實世界的物理規(guī)則，如重力、碰撞等，增強游戲的真實感和沉浸感。
  • 跨模態(tài)學(xué)習(xí)：基于跨模態(tài)學(xué)習(xí)技術(shù)，將視覺信息與音效信息結(jié)合起來，生成與游戲畫面匹配的音效。
• YingSound的技術(shù)原理：
  • 音頻-視頻同步技術(shù)：基于精確的時間對齊技術(shù)，確保生成的音效與視頻內(nèi)容同步，涉及到復(fù)雜的時間序列分析。
  • 深度神經(jīng)網(wǎng)絡(luò)：用深度神經(jīng)網(wǎng)絡(luò)來生成高精細度的音效，神經(jīng)網(wǎng)絡(luò)能學(xué)習(xí)從視頻內(nèi)容中提取的關(guān)鍵特征，轉(zhuǎn)化為相應(yīng)的音效。

千影 QianYing的項目地址

• 項目官網(wǎng)：ga-me.com

千影 QianYing的應(yīng)用場景

• 開放世界游戲開發(fā)：在開放世界游戲中，創(chuàng)建具有復(fù)雜動作和物理交互的角色，提供更加真實和沉浸式的游戲體驗。
• 游戲視頻內(nèi)容創(chuàng)作：游戲開發(fā)者生成高質(zhì)量的游戲預(yù)告片、劇情動畫和其他視頻內(nèi)容，提升游戲的市場吸引力。
• 游戲教育和培訓(xùn)：在教育領(lǐng)域，創(chuàng)建模擬環(huán)境和情景，用在技能訓(xùn)練或安全教育，提高學(xué)習(xí)效率和效果。
• 游戲直播和電子競技：為游戲直播添加特效和音效，提升直播的觀賞性和互動性，同時為電子競技賽事提供更加生動的觀看體驗。
• 游戲測試和原型設(shè)計：快速生成游戲原型，加速游戲設(shè)計和測試過程，減少開發(fā)時間和成本