tokenizer對于圖像、視頻生成的重要性值得重視。

原標題：英偉達開源福利：視頻生成、機器人都能用的SOTA tokenizer
文章來源：機器之心
內容字數：4984字

機器之心：Tokenization在圖像與視頻生成中的重要性

在圖像和視頻生成領域，tokenizer 的作用常被忽視，然而它對生成模型的效果有著至關重要的影響。研究表明，優質的 tokenizer 能在語言模型中顯著提高視覺生成效果，甚至超越當前最好的擴散模型。

1. Tokenizer的核心功能

tokenizer 的主要功能是將高維的視覺數據（如圖像和視頻幀）轉化為模型可以處理的語義 token。這一過程不僅影響模型的訓練和生成效果，還決定了模型在執行任務時的清晰度和效率。正如研究者所言，良好的 token 互聯性讓模型更清楚其目標，從而最大化其潛力。

2. Cosmos Tokenizer的創新

為了解決現有 tokenizer 生成質量不佳的問題，英偉達推出了 Cosmos tokenizer。這是一款全面的連續和離散圖像與視頻 tokenizer，能夠提供高效的壓縮和高質量重建，其速度相比于之前的方法提升了12倍。Cosmos tokenizer 通過輕量級的時間因果架構，保持視頻幀順序，實現無縫的圖像和視頻 token 化。

3. 性能評估與應用

在標準數據集（如 MS-COCO 2017、ImageNet-1K 等）上進行的評估顯示，Cosmos tokenizer 的性能明顯優于現有方法，尤其是在 DAVIS 視頻上的 PSNR 提升了4 dB。該工具在處理高分辨率圖像和長視頻時表現出色，適用于各種不同的計算限制。

4. 未來展望

隨著 Cosmos tokenizer 的推出，研究者們期望社區能更加重視 tokenizer 這一領域的研究。通過改進 tokenization 過程，模型不僅能更高效地處理數據，還能在視覺質量上實現質的飛躍。研究者們也呼吁開發人員試用這一新工具，以提升生成式 AI 的整體性能。

總之，Cosmos tokenizer 的成功展示了高效 tokenization 在圖像與視頻生成中的潛力，未來有望推動更多創新的生成模型發展。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺