央企第一家：中國電信開源星辰語義大模型，共享超1T高質(zhì)基礎(chǔ)數(shù)據(jù)

AIGC動態(tài)歡迎閱讀

原標題：央企第一家：中國電信開源星辰語義大模型，共享超1T高質(zhì)基礎(chǔ)數(shù)據(jù)
關(guān)鍵字：模型,語義,星辰,數(shù)據(jù),中國電信
文章來源：機器之心
內(nèi)容字數(shù)：21858字

內(nèi)容摘要：

星辰語義大模型

中國電信開源的語義大模型

2024 年伊始，中國電信開源星辰語義大模型-7B，成為第一家開源大模型的央企。同時開源的還有超 1T 的高質(zhì)量清洗基礎(chǔ)數(shù)據(jù)。
隨著新一輪科技和產(chǎn)業(yè)變革加速演進，擁抱 AI 成為中國電信當(dāng)下發(fā)展的核心戰(zhàn)略之一。2019 年，中國電信在原數(shù)據(jù)中心基礎(chǔ)上成立大數(shù)據(jù)和 AI 中心。2023 年 11 月，中國電信注資 30 億元成立「中電信人工智能科技有限公司」（以下簡稱電信 AI 、AI 團隊），牽頭打造中國電信 AI 核心技術(shù)。同月，中國電信發(fā)布千億級星辰語義大模型。
開源項目鏈接地址：

• https://openi.pcl.ac.cn/openihu/tele-chat
• https://gitee.com/Tele-AI/tele-chat
• https://github.com/Tele-AI/Telechat
• https://huggingface.co/Tele-AI/telechat-7B

一、星辰語義大模型的開源方案
在千億參數(shù)大模型發(fā)布之前，星辰語義大模型已經(jīng)具備了多版本穩(wěn)定可用的大模型基座，覆蓋 3B、7B、12B 和 130B 等參數(shù)量級。大模型采用純自研方式，AI 團隊選用解碼器架構(gòu)（ decoder-only ）并在模型維度做了一些創(chuàng)新和改進。經(jīng)過數(shù)十版模型訓(xùn)練與優(yōu)化，模型的穩(wěn)定性和推理速度都得到了明顯提升。

原文鏈接：央企第一家：中國電信開源星辰語義大模型，共享超1T高質(zhì)基礎(chǔ)數(shù)據(jù)

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺