交交

交交 – 上海交大推出的口語對話情感大模型

交交是上海交通大學聽覺認知與計算聲學實驗室自主研發(fā)的全球首個純學術(shù)口語對話情感大模型。它支持多人實時對話、多語言交流、方言識別、角色扮演、情感互動及知識問答等多項強大功能，兼容漢語、英語、日語、法語等多種語言，并能夠精準識別多種中文方言。交交以創(chuàng)新技術(shù)為基礎，提供端到端的語音對話、多語言理解、多人互動及實時音色克隆，展現(xiàn)出卓越的語音交互能力，為智能語音助手領域帶來了新的突破。

交交是什么

交交是由上海交通大學聽覺認知與計算聲學實驗室推出的全球首個完全由學術(shù)界自主研發(fā)的口語對話情感大模型。它具備多人對話、多語言交流、方言理解、角色扮演、情感互動及知識問答等多種強大功能，支持漢語、英語、日語、法語等多種語言，并能精準識別各種中文方言。交交的技術(shù)創(chuàng)新使其能夠?qū)崿F(xiàn)流暢的語音對話、多語言理解、多人互動以及實時的音色克隆，展現(xiàn)出強大的語音交互能力，為智能語音助手領域帶來了顯著的進展。

交交的主要功能

多人對話：可與多位用戶進行自然流暢的對話，精準識別每個用戶的身份和發(fā)言內(nèi)容，并提供個性化的回應。
多語言交流：支持漢語、英語、日語和法語等多種主要語言，具備跨語言回復的能力。
角色扮演與情感互動：理解用戶情緒并根據(jù)對話內(nèi)容和場景生成富有情感的回應。
知識問答：涵蓋廣泛的知識領域，如古詩詞背誦、科學原理講解和文學名著解讀等。
實時音色克隆：提供高保真的聲音模仿技術(shù)，支持多角色語音扮演風格，并與用戶的自身聲音進行實時無感切換。

交交的技術(shù)原理

端到端語音對話：采用魯棒的音頻編碼器，將音頻輸入流式編碼為離散序列，并與文本序列對齊，無需大規(guī)模高質(zhì)量數(shù)據(jù)微調(diào)，便能保持并利用文本大模型的基礎泛化能力，實現(xiàn)實時知識問答。
多語言理解與生成：基于創(chuàng)新的跨模態(tài)對齊機制，將多語言語音信號與對應文本在特征空間精準映射，通過隱式表征學習保留語言特異性信息，結(jié)合深度語言模型的上下文建模能力，實現(xiàn)跨語言場景下的無縫切換和高效語義理解。
多人對話建模：通過構(gòu)建多人對話數(shù)據(jù)模擬真實場景，增強模型的對話處理能力。利用端到端模型融合上下文信息，生成個性化的響應和總結(jié)，實現(xiàn)自然且連貫的多方互動。
情感理解與表達：基于上下文信息，運用思維鏈技術(shù)生成符合對話場景的情感全局表征，并生成生動的情感語音回復，提升對話交流的真實感。
實時音色克隆與切換：提供高保真的聲音模仿技術(shù)，基于思維鏈技術(shù)進行控制信號推理，支持多角色語音扮演風格及與用戶自身聲音之間的實時無感切換。
靈活拓展：強大的對齊策略支持文本與音頻模態(tài)的任意方式拼接融合，為集成大規(guī)模文本大模型中的多種增強機制（如聯(lián)網(wǎng)搜索、RAG檢索增強生成等）提供統(tǒng)一且可擴展的接口。