GLM-Edge系列在部分端側(cè)平臺(tái)上實(shí)現(xiàn)了高速運(yùn)行

原標(biāo)題：智譜GLM入局端側(cè)大模型，對(duì)戰(zhàn)Qwen效果如何？
文章來(lái)源：智猩猩GenAI
內(nèi)容字?jǐn)?shù)：6944字

2024中國(guó)生成式AI大會(huì)（上海站）預(yù)告

智猩猩聯(lián)合主辦的2024中國(guó)生成式AI大會(huì)將于12月5日至6日在上海舉行。大會(huì)將設(shè)有主會(huì)場(chǎng)和分會(huì)場(chǎng)，主會(huì)場(chǎng)將進(jìn)行大模型峰會(huì)和AI Infra峰會(huì)，而分會(huì)場(chǎng)將圍繞端側(cè)生成式AI、AI視頻生成和具身智能等主題展開(kāi)技術(shù)研討。歡迎各界人士報(bào)名參與。

GLM-Edge大語(yǔ)言模型系列簡(jiǎn)介

GLM-Edge是智譜AI近期推出的一系列大語(yǔ)言模型，專為端側(cè)應(yīng)用場(chǎng)景設(shè)計(jì)。該系列包括1.5B和4B的語(yǔ)言模型，以及2B和5B的多模態(tài)模型，特別適配移動(dòng)平臺(tái)和PC等不同計(jì)算能力的設(shè)備。其在驍龍8 Elite芯片平臺(tái)上的解碼速度表現(xiàn)出色，達(dá)到每秒60個(gè)token以上。

GLM-Edge的創(chuàng)新與優(yōu)化

GLM-Edge系列的推出旨在平衡模型性能與實(shí)際推理效果。通過(guò)與行業(yè)伙伴的緊密合作和持續(xù)的推理優(yōu)化，GLM-Edge在多個(gè)端側(cè)平臺(tái)上實(shí)現(xiàn)了高速運(yùn)行。盡管在測(cè)試中GLM-Edge的整體表現(xiàn)尚未達(dá)到同尺寸模型Qwen的水平，但未來(lái)的迭代優(yōu)化將有潛力提升其性能。

效果與性能測(cè)試結(jié)果

在文本摘要和信息抽取任務(wù)中，GLM-Edge的表現(xiàn)不及Qwen，存在一定的幻覺(jué)現(xiàn)象。例如，在文本摘要任務(wù)中，GLM-Edge-1.5B的輸出結(jié)果與原文存在偏差，而Qwen的輸出則更為準(zhǔn)確。在信息抽取任務(wù)中，GLM-Edge未能提取出準(zhǔn)確的目標(biāo)地址，顯示出其在特定任務(wù)上的局限性。

總結(jié)與展望

總體而言，GLM-Edge系列在性能和實(shí)用性方面還有提升的空間。盡管目前的表現(xiàn)不如Qwen，但隨著后續(xù)版本的優(yōu)化，GLM-Edge有望在端側(cè)生成式AI領(lǐng)域取得更大的進(jìn)展。高通和Intel平臺(tái)上的性能測(cè)試結(jié)果也展示了該系列模型在不同硬件上的適應(yīng)能力。

歡迎大家關(guān)注即將到來(lái)的2024中國(guó)生成式AI大會(huì)，共同探討生成式AI的未來(lái)發(fā)展與應(yīng)用。

聯(lián)系作者

文章來(lái)源：智猩猩GenAI
作者微信：
作者簡(jiǎn)介：智猩猩旗下公眾號(hào)之一，深入關(guān)注大模型與AI智能體，及時(shí)搜羅生成式AI技術(shù)產(chǎn)品。