淘寶星辰

淘寶星辰 – 阿里媽媽推出的視頻生成大模型

淘寶星辰是阿里媽媽推出的一款電商視頻生成大模型，專為淘寶和天貓商家量身打造。該工具能夠根據(jù)商家提供的圖片或文本指令，一鍵生成高質(zhì)量的視頻。它的核心優(yōu)勢在于對商品展示的深刻理解，能夠精準識別并應用適合不同商品的展示手法；同時具備強大的多語種語義理解能力，確保生成的視頻與用戶的意圖高度契合；遵循物理和動作規(guī)律，使得畫面流暢自然；還能穩(wěn)定保持人物、商品及裝飾元素的清晰與完整。

淘寶星辰是什么

淘寶星辰是阿里媽媽開發(fā)的一款電商視頻生成大模型，專為淘寶和天貓的商家設計。它可以根據(jù)商家上傳的圖片或文本指令，快速生成高質(zhì)量的視頻。其核心優(yōu)勢在于對商品展示的深刻理解，能夠精準地識別并應用適合不同類別商品的展示手法。此外，淘寶星辰具備強大的多語言語義理解能力，確保視頻生成能夠滿足用戶的需求。該工具遵循物理和動作規(guī)律，保證視頻畫面流暢自然，同時有效保持人物、商品及裝飾元素的清晰完整，提升視覺效果。商家可利用該工具為商品詳情頁增添生動的視頻內(nèi)容，從而提升商品的吸引力。目前，該工具已向淘寶和天貓商家開放使用。

淘寶星辰的主要功能

• 精準的商品展示手法：基于豐富的電商數(shù)據(jù)和設計經(jīng)驗，自動識別并應用最適合不同商品類別的展示手法，確保每件商品都能以最佳方式展現(xiàn)。
• 強大的多語言語義理解能力：深刻理解參考圖片和多語言指令（中、英），精準捕捉文本指令中的關鍵動作信息，確保生成視頻與用戶意圖高度契合。
• 遵循物理和動作規(guī)律：嚴格遵循物理規(guī)律和動作規(guī)范，保證視頻畫面流暢自然，避免不符合現(xiàn)實的效果，提升視頻的真實感與專業(yè)度。
• 穩(wěn)定的元素清晰性：無論是人臉、商品，還是文字、貼紙等裝飾元素，始終保持清晰完整，無抖動或變形，增強視覺一致性。

淘寶星辰的技術(shù)原理

• 基于Unet Diffusion Model：淘寶星辰的視頻生成模型基于Unet Diffusion Model路線，該模型通過逐步去除噪聲來生成數(shù)據(jù)，從而學習到復雜的數(shù)據(jù)分布，生成高質(zhì)量的視頻內(nèi)容。
• 自研3D變分自編碼器：為了更好地處理視頻中的三維信息和空間結(jié)構(gòu)，淘寶星辰研發(fā)了自研的3D VAE（變分自編碼器），可以對視頻中的物體和場景進行三維建模和編碼，重建出更真實自然的視頻幀。
• 面向視頻生成的豐富數(shù)據(jù)源：構(gòu)建了針對視頻生成任務的數(shù)據(jù)飛輪，通過不斷收集和標注大量電商數(shù)據(jù)，為模型訓練提供豐富素材，涵蓋各種商品的圖片、視頻及文本描述，幫助模型精準學習展示手法及用戶意圖。
• 多模型協(xié)同工作：淘寶星辰的生成模型包括多個子模型，如Tbstar-T2V（文本到視頻）、Tbstar-I2V（圖片到視頻）、Tbstar-V2V（視頻到視頻）等，這些子模型協(xié)同工作，共同完成視頻生成任務，進一步豐富了生成效果。

如何使用淘寶星辰

• 訪問官方網(wǎng)站：登錄淘寶星辰的官網(wǎng)。
• 選擇功能模塊：選擇“圖生視頻”功能模塊。
• 上傳素材：上傳一張高質(zhì)量的服裝模特展示圖。
• 生成視頻：點擊生成按鈕，等待視頻生成。
• 視頻編輯：生成的視頻會自動顯示在頁面上，可以進行簡單編輯，如添加品牌logo、調(diào)整顏色等。
• 下載與使用：編輯完成后，下載視頻并將其應用于商品詳情頁或社交媒體推廣。
• 使用限制：目前淘寶星辰僅向淘寶和天貓商家開放，普通用戶暫時無法使用，商家需確保其賬號具有相應權(quán)限。

淘寶星辰的應用場景

• 商品主圖視頻：某服裝商家上傳模特展示圖，生成一個5秒的視頻主圖，用于商品詳情頁，大幅提升了商品的點擊率與轉(zhuǎn)化率。
• 賣點吸引視頻：某電子產(chǎn)品商家上傳多張產(chǎn)品圖片，生成多個視頻片段，通過模板添加、特效和文字，制作成一個展示產(chǎn)品功能與優(yōu)勢的賣點視頻，用于社交媒體推廣。
• 種草內(nèi)容視頻：某美妝商家上傳多張產(chǎn)品圖片，生成視頻片段，通過剪輯添加解說和字幕，制作成一個種草視頻，發(fā)布在小紅書等平臺，激發(fā)消費者購買欲望。
• 虛擬試穿視頻：某服飾商家上傳用戶的虛擬試穿圖片，生成虛擬試穿視頻，模擬服飾的真實上身效果，幫助消費者更好地了解商品，減少購買顧慮。