AIGC動態(tài)歡迎閱讀

原標(biāo)題：三個(gè)臭皮匠頂個(gè)諸葛亮？可能是真的，已證實(shí)混合多個(gè)小模型性能比肩GPT3.5
關(guān)鍵字：人工智能,模型,報(bào)告,系統(tǒng),參數(shù)
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：5617字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：rome對模型參數(shù)量的迷信、執(zhí)念也許可以放下了，混合多個(gè)小模型也是未來構(gòu)造對話型 AI 的一個(gè)光明的方向。
在對話型人工智能（AI）研究中，存在趨勢即朝著開發(fā)參數(shù)更多的模型方向發(fā)展，如 ChatGPT 等為代表的模型。盡管這些龐大的模型能夠生成越來越好的對話響應(yīng)，但它們同時(shí)也需要大量的計(jì)算資源和內(nèi)存。本文研究探討的問題是：一組小模型是否能夠協(xié)同達(dá)到與單一大模型相當(dāng)或更好的性能？
本文介紹了一種創(chuàng)新而簡單的方法：混合。
作者展示了如果從一組小規(guī)模的對話型人工智能中隨機(jī)選擇回復(fù)，生成的對話型人工智能具有很強(qiáng)的性能和吸引力，可以勝過參數(shù)數(shù)量級大很多的系統(tǒng)。作者觀察到混合模型似乎具有 “最優(yōu)” 的特征，通過在對話歷史上進(jìn)行條件化響應(yīng)，一個(gè)具有特定屬性的單一模型能夠?qū)W習(xí)其他系統(tǒng)的能力。可以為用戶提供更引人入勝和多樣化的回復(fù)和使用體驗(yàn)。
作者通過在 CHAI 平臺上進(jìn)行大規(guī)模 A/B 測試，證明了混合模型的有效性。在真實(shí)用戶的測試中，包含三個(gè) 6-13B 參數(shù) LLM 的混合模型，勝過了 OpenAI 的 175B + 參數(shù) ChatGPT。并且混合模型的用戶留存率顯著高于基于

原文鏈接：三個(gè)臭皮匠頂個(gè)諸葛亮？可能是真的，已證實(shí)混合多個(gè)小模型性能比肩GPT3.5

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺