FunClip是阿里達(dá)摩院推出的一款開(kāi)源且可本地部署的自動(dòng)化視頻剪輯工具，利用阿里巴巴通義實(shí)驗(yàn)室的FunASR Paraformer系列模型實(shí)現(xiàn)視頻內(nèi)容的自動(dòng)語(yǔ)音識(shí)別。用戶可以根據(jù)識(shí)別結(jié)果迅速選擇所需的文本片段或特定的說(shuō)話人，從而高效裁剪出所需的視頻片段。

FunClip是什么

FunClip是一款由阿里達(dá)摩院通義實(shí)驗(yàn)室開(kāi)發(fā)的完全開(kāi)源和本地部署的自動(dòng)視頻剪輯工具。該工具通過(guò)調(diào)用阿里巴巴通義實(shí)驗(yàn)室的FunASR Paraformer系列模型，實(shí)現(xiàn)了視頻的自動(dòng)化語(yǔ)音識(shí)別。用戶可以基于識(shí)別到的文本，輕松選擇特定片段或說(shuō)話人，快速生成所需的視頻內(nèi)容。FunClip具備高精度的中文ASR模型，支持熱詞定制、說(shuō)話人識(shí)別，且提供了Gradio交互界面，極大地方便了用戶的操作。此外，F(xiàn)unClip還支持多段剪輯，并能夠自動(dòng)生成SRT字幕文件。

FunClip的主要功能

• 自動(dòng)語(yǔ)音識(shí)別：采用阿里巴巴通義實(shí)驗(yàn)室的FunASR Paraformer系列模型，對(duì)視頻進(jìn)行語(yǔ)音轉(zhuǎn)文字處理。
• 熱詞定制：通過(guò)集成的SeACo-Paraformer模型，用戶可指定特定實(shí)體詞或人名作為熱詞，以提高特定詞匯的識(shí)別準(zhǔn)確性。
• 說(shuō)話人識(shí)別：集成CAM++說(shuō)話人識(shí)別模型，用戶可以根據(jù)自動(dòng)識(shí)別的說(shuō)話人ID裁剪特定說(shuō)話人的視頻片段。
• 視頻裁剪：用戶可選擇識(shí)別結(jié)果中的文本片段或特定說(shuō)話人，通過(guò)點(diǎn)擊裁剪按鈕生成對(duì)應(yīng)的視頻片段。
• Gradio交互界面：通過(guò)Gradio搭建的界面，簡(jiǎn)化了視頻剪輯的操作流程，用戶可在服務(wù)端建立服務(wù)并通過(guò)瀏覽器操作。
• 多段剪輯支持：FunClip允許用戶進(jìn)行多段視頻剪輯，提供靈活的編輯能力。
• 自動(dòng)生成字幕：剪輯后的視頻可自動(dòng)生成全視頻及目標(biāo)段落的SRT字幕文件，方便用戶進(jìn)行字幕的添加和編輯。
• 命令行調(diào)用：除了圖形界面，F(xiàn)unClip還支持命令行操作，提供更靈活的使用方式。

FunClip的官網(wǎng)入口

• 官方GitHub源碼地址：https://github.com/alibaba-damo-academy/FunClip
• ModelScope魔搭社區(qū)在線Demo：https://modelscope.cn/studios/iic/funasr_app_clipvideo/summary

如何使用FunClip

方法一：本地部署Gradio版本

首先確保您的計(jì)算機(jī)上已安裝Python和Git，然后打開(kāi)終端，依次輸入并運(yùn)行以下命令：

git clone https://github.com/alibaba-damo-academy/FunClip.git

cd FunClip && pip install -r ./requirements.txt

python funclip/launch.py

最后在瀏覽器中訪問(wèn)localhost:7860即可體驗(yàn)FunClip。

方法二：在線體驗(yàn)?zāi)Т钌鐓^(qū)Demo

訪問(wèn)魔搭社區(qū)提供的在線Demo，然后按照以下步驟操作：

1. 上傳視頻或音頻文件（或使用下方的示例進(jìn)行體驗(yàn)），點(diǎn)擊「識(shí)別」按鈕。
2. 從識(shí)別結(jié)果中復(fù)制所需的文字到右上方，或設(shè)置說(shuō)話人標(biāo)識(shí)，配置偏移與字幕（可選）。
3. 點(diǎn)擊「裁剪」或「裁剪并添加字幕」按鈕以獲得結(jié)果。

方法三：命令行運(yùn)行相關(guān)指令

打開(kāi)終端，依次輸入以下命令：

# 1. 克隆GitHub源代碼
git clone https://github.com/alibaba-damo-academy/FunClip.git
# 2. 安裝Python依賴
cd FunClip && pip install -r ./requirements.txt
# 3. 添加視頻進(jìn)行識(shí)別
python funclip/videoclipper.py --stage 1 \
--file examples/2022云棲大會(huì)_片段.mp4 \
--output_dir ./output
# ./output/目錄將輸出識(shí)別結(jié)果和.srt字幕文件
# 4. 裁剪命令
python funclip/videoclipper.py --stage 2 \
--file examples/2022云棲大會(huì)_片段.mp4 \
--output_dir ./output \
--dest_text '我們把它跟鄉(xiāng)村振興去結(jié)合起來(lái)，利用我們的設(shè)計(jì)的能力' \
--start_ost 0 \
--end_ost 100 \
--output_file './output/res.mp4'