GLM-Edge系列在部分端側平臺上實現了高速運行

原標題：智譜GLM入局端側大模型，對戰Qwen效果如何？
文章來源：智猩猩GenAI
內容字數：6944字

2024中國生成式AI大會（上海站）預告

智猩猩聯合主辦的2024中國生成式AI大會將于12月5日至6日在上海舉行。大會將設有主會場和分會場，主會場將進行大模型峰會和AI Infra峰會，而分會場將圍繞端側生成式AI、AI視頻生成和具身智能等主題展開技術研討。歡迎各界人士報名參與。

GLM-Edge大語言模型系列簡介

GLM-Edge是智譜AI近期推出的一系列大語言模型，專為端側應用場景設計。該系列包括1.5B和4B的語言模型，以及2B和5B的多模態模型，特別適配移動平臺和PC等不同計算能力的設備。其在驍龍8 Elite芯片平臺上的解碼速度表現出色，達到每秒60個token以上。

GLM-Edge的創新與優化

GLM-Edge系列的推出旨在平衡模型性能與實際推理效果。通過與行業伙伴的緊密合作和持續的推理優化，GLM-Edge在多個端側平臺上實現了高速運行。盡管在測試中GLM-Edge的整體表現尚未達到同尺寸模型Qwen的水平，但未來的迭代優化將有潛力提升其性能。

效果與性能測試結果

在文本摘要和信息抽取任務中，GLM-Edge的表現不及Qwen，存在一定的幻覺現象。例如，在文本摘要任務中，GLM-Edge-1.5B的輸出結果與原文存在偏差，而Qwen的輸出則更為準確。在信息抽取任務中，GLM-Edge未能提取出準確的目標地址，顯示出其在特定任務上的局限性。

總結與展望

總體而言，GLM-Edge系列在性能和實用性方面還有提升的空間。盡管目前的表現不如Qwen，但隨著后續版本的優化，GLM-Edge有望在端側生成式AI領域取得更大的進展。高通和Intel平臺上的性能測試結果也展示了該系列模型在不同硬件上的適應能力。

歡迎大家關注即將到來的2024中國生成式AI大會，共同探討生成式AI的未來發展與應用。

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下公眾號之一，深入關注大模型與AI智能體，及時搜羅生成式AI技術產品。