巨人網絡推出的有聲游戲生成大模型

產品名稱：千影 QianYing
產品簡介：千影 QianYing是巨人網絡推出的有聲游戲生成大模型，包含游戲視頻生成大模型YingGame和視頻配音大模型YingSound。YingGame面向開放世界游戲，是巨人網絡AI Lab與清華大學SATLab聯合推出的，能實現角色多樣動作交互控制和物理仿真特性，與YingSound結合可生成匹配畫面的復雜音效。
詳細介紹：

千影 QianYing是什么

千影 QianYing是巨人網絡推出的有聲游戲生成大模型，包含游戲視頻生成大模型YingGame和視頻配音大模型YingSound。YingGame面向開放世界游戲，是巨人網絡AI Lab與清華大學SATLab聯合推出的，能實現角色多樣動作交互控制和物理仿真特性，與YingSound結合可生成匹配畫面的復雜音效。YingSound是巨人網絡AI Lab、西北工業大學ASLP Lab和浙江大合推出的，能為無聲視頻添加逼真音效，具備視頻語義理解和時間對齊能力。千影 QianYing旨在通過AI技術降低游戲開發門檻，推動游戲創作平權，加速“游戲+AI”創新。

千影 QianYing的主要功能

• YingGame的主要功能：
  • 角色動作交互控制：YingGame能實現角色多樣動作的交互控制，用戶能自定義游戲角色的動作和外觀。
  • 物理仿真特性：模型具備強大的物理模擬特性，能模擬真實世界的物理效果，增強游戲的真實感。
  • 視頻生成：結合自研的視頻配音大模型YingSound，YingGame能根據游戲畫面生成匹配的復雜音效，實現有聲游戲視頻的生成。
  • 交互能力：YingGame能理解用戶的輸入交互，如鼠標、鍵盤操作，控制角色進行多種動作。
• YingSound的主要功能：
  • 時間對齊與視頻語義理解：YingSound具備超強的時間對齊能力和視頻語義理解能力，能精確地為視頻添加音效。
  • 高精細度音效生成：模型能為各類視頻，包括真實場景、動漫和游戲視頻，生成多種類型的高精細度音效。
  • 多樣化應用場景：YingSound支持從視頻或視頻文本結合的方式生成高保真音效，具備多樣化應用場景的泛化能力。
  • 跨模態對齊效果：基于創新的技術架構和強化學習，YingSound在生成效果、時間對齊及視頻語義理解等方面達到業界領先水平。

千影 QianYing的技術原理

• YingGame的技術原理：
  • 物理仿真特性：集成物理引擎模擬現實世界的物理規則，如重力、碰撞等，增強游戲的真實感和沉浸感。
  • 跨模態學習：基于跨模態學習技術，將視覺信息與音效信息結合起來，生成與游戲畫面匹配的音效。
• YingSound的技術原理：
  • 音頻-視頻同步技術：基于精確的時間對齊技術，確保生成的音效與視頻內容同步，涉及到復雜的時間序列分析。
  • 深度神經網絡：用深度神經網絡來生成高精細度的音效，神經網絡能學習從視頻內容中提取的關鍵特征，轉化為相應的音效。

千影 QianYing的項目地址

• 項目官網：ga-me.com

千影 QianYing的應用場景

• 開放世界游戲開發：在開放世界游戲中，創建具有復雜動作和物理交互的角色，提供更加真實和沉浸式的游戲體驗。
• 游戲視頻內容創作：游戲開發者生成高質量的游戲預告片、劇情動畫和其他視頻內容，提升游戲的市場吸引力。
• 游戲教育和培訓：在教育領域，創建模擬環境和情景，用在技能訓練或安全教育，提高學習效率和效果。
• 游戲直播和電子競技：為游戲直播添加特效和音效，提升直播的觀賞性和互動性，同時為電子競技賽事提供更加生動的觀看體驗。
• 游戲測試和原型設計：快速生成游戲原型，加速游戲設計和測試過程，減少開發時間和成本