ChatGLM

ChatGLM官網(wǎng)

ChatGLM，清華技術(shù)，智譜AI開源的GLM系列的對(duì)話模型

網(wǎng)站服務(wù)：ai工具導(dǎo)航，ai大模型，Cha116;71;LM。

ChatGLM簡(jiǎn)介

ChatGLM-6B: An Open Bilingual Dialogue Language Model | 開源雙語(yǔ)對(duì)話語(yǔ)言模型 – THUDM/ChatGLM-6B

ChatGLM官網(wǎng)，清華技術(shù)，智譜AI開源的GLM系列的對(duì)話模型

什么是ChatGLM?

ChatGLM 是智譜AI公司基于清華技術(shù)成果轉(zhuǎn)化而開源的對(duì)話模型系列，支持中英兩種語(yǔ)言。目前，該系列開源了規(guī)模為62億參數(shù)的模型。這些模型在繼承了GLM的優(yōu)勢(shì)基礎(chǔ)上進(jìn)行了架構(gòu)優(yōu)化，降低了部署和應(yīng)用的門檻，使得大型模型可以在消費(fèi)級(jí)顯卡上進(jìn)行推理應(yīng)用。

ChatGLM官網(wǎng): https://chatglm.cn/

github項(xiàng)目網(wǎng)址: (安裝和使用教程請(qǐng)看官方介紹)

https://github.com/THUDM/ChatGLM-6B

從技術(shù)路線的角度來(lái)看，ChatGLM 實(shí)現(xiàn)了強(qiáng)化學(xué)習(xí)人類對(duì)齊策略，使得生成的對(duì)話效果更加貼近人類的價(jià)值觀。目前，它的能力領(lǐng)域主要包括自我認(rèn)知、提綱寫作、文案寫作、郵件寫作助手、信息抽取、角色扮演、評(píng)論比較、旅游建議等。此外，ChatGLM 還開發(fā)了一個(gè)正在內(nèi)測(cè)的超大模型，參數(shù)規(guī)模達(dá)到了1300億，這在當(dāng)前的開源對(duì)話模型中屬于較大規(guī)模。

ChatGLM 的開源為研究人員和開發(fā)者提供了一個(gè)強(qiáng)大的工具，可以用于各種對(duì)話場(chǎng)景和應(yīng)用。它的性能和規(guī)模使得它成為處理復(fù)雜對(duì)話任務(wù)和生成高質(zhì)量對(duì)話的理想選擇。隨著ChatGLM的不斷發(fā)展和改進(jìn)，我們可以期待更多創(chuàng)新和應(yīng)用在對(duì)話系統(tǒng)領(lǐng)域的實(shí)現(xiàn)。

詳細(xì)介紹

ChatGLM-6B 是一個(gè)開源的、支持中英雙語(yǔ)的對(duì)話語(yǔ)言模型，基于?General Language Model (GLM)?架構(gòu)，具有 62 億參數(shù)。結(jié)合模型量化技術(shù)，用戶可以在消費(fèi)級(jí)的顯卡上進(jìn)行本地部署（INT4 量化級(jí)別下最低只需 6GB 顯存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技術(shù)，針對(duì)中文問(wèn)答和對(duì)話進(jìn)行了優(yōu)化。經(jīng)過(guò)約 1T 標(biāo)識(shí)符的中英雙語(yǔ)訓(xùn)練，輔以監(jiān)督微調(diào)、反饋?zhàn)灾⑷祟惙答亸?qiáng)化學(xué)習(xí)等技術(shù)的加持，62 億參數(shù)的 ChatGLM-6B 已經(jīng)能生成相當(dāng)符合人類偏好的回答，更多信息請(qǐng)參考我們的博客。

為了方便下游開發(fā)者針對(duì)自己的應(yīng)用場(chǎng)景定制模型，我們同時(shí)實(shí)現(xiàn)了基于?P-Tuning v2?的高效參數(shù)微調(diào)方法?(使用指南)?，INT4 量化級(jí)別下最低只需 7GB 顯存即可啟動(dòng)微調(diào)。

想讓 ChatGLM-6B 更符合你的應(yīng)用場(chǎng)景？歡迎參與?Badcase 反饋計(jì)劃。

---

ChatGLM-6B 開源模型旨在與開源社區(qū)一起推動(dòng)大模型技術(shù)發(fā)展，懇請(qǐng)開發(fā)者和大家遵守開源協(xié)議，勿將開源模型和代碼及基于開源項(xiàng)目產(chǎn)生的衍生物用于任何可能給國(guó)家和社會(huì)帶來(lái)危害的用途以及用于任何未經(jīng)過(guò)安全評(píng)估和備案的服務(wù)。目前，本項(xiàng)目團(tuán)隊(duì)未基于 ChatGLM-6B 開發(fā)任何應(yīng)用，包括網(wǎng)頁(yè)端、安卓、蘋果 iOS 及 Windows App 等應(yīng)用。

盡管模型在訓(xùn)練的各個(gè)階段都盡力確保數(shù)據(jù)的合規(guī)性和準(zhǔn)確性，但由于 ChatGLM-6B 模型規(guī)模較小，且模型受概率隨機(jī)性因素影響，無(wú)法保證輸出內(nèi)容的準(zhǔn)確性，且模型易被誤導(dǎo)（詳見局限性）。本項(xiàng)目不承擔(dān)開源模型和代碼導(dǎo)致的數(shù)據(jù)安全、輿情風(fēng)險(xiǎn)或發(fā)生任何模型被誤導(dǎo)、濫用、傳播、不當(dāng)利用而產(chǎn)生的風(fēng)險(xiǎn)和責(zé)任。

使用方式

硬件需求

量化等級(jí)	最低 GPU 顯存（推理）	最低 GPU 顯存（高效參數(shù)微調(diào)）
FP16（無(wú)量化）	13 GB	14 GB
INT8	8 GB	9 GB
INT4	6 GB	7 GB

環(huán)境安裝

使用 pip 安裝依賴：pip install -r requirements.txt，其中?transformers?庫(kù)版本推薦為?4.27.1，但理論上不低于?4.23.1?即可。

此外，如果需要在 cpu 上運(yùn)行量化后的模型，還需要安裝?gcc?與?openmp。多數(shù) Linux 發(fā)行版默認(rèn)已安裝。對(duì)于 Windows ，可在安裝?TDM-GCC?時(shí)勾選?openmp。 Windows 測(cè)試環(huán)境?gcc?版本為?TDM-GCC 10.3.0， Linux 為?gcc 11.3.0。在 MacOS 上請(qǐng)參考?Q1。

代碼調(diào)用

可以通過(guò)如下代碼調(diào)用 ChatGLM-6B 模型來(lái)生成對(duì)話：

>>> from transformers import AutoTokenizer， AutoModel
>>> tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b"， trust_remote_code=True)
>>> model = AutoModel.from_pretrained("THUDM/chatglm-6b"， trust_remote_code=True).half().cuda()
>>> model = model.eval()
>>> response， history = model.chat(tokenizer， "你好"， history=[])
>>> print(response)
你好??!我是人工智能助手 ChatGLM-6B，很高興見到你，歡迎問(wèn)我任何問(wèn)題。
>>> response， history = model.chat(tokenizer， "晚上睡不著應(yīng)該怎么辦"， history=history)
>>> print(response)
晚上睡不著可能會(huì)讓你感到焦慮或不舒服，但以下是一些可以幫助你入睡的方法:

1. 制定規(guī)律的睡眠時(shí)間表:保持規(guī)律的睡眠時(shí)間表可以幫助你建立健康的睡眠習(xí)慣，使你更容易入睡。盡量在每天的相同時(shí)間上床，并在同一時(shí)間起床。
2. 創(chuàng)造一個(gè)舒適的睡眠環(huán)境:確保睡眠環(huán)境舒適，安靜，黑暗且溫度適宜。可以使用舒適的床上用品，并保持房間通風(fēng)。
3. 放松身心:在睡前做些放松的活動(dòng)，例如泡個(gè)熱水澡，聽些輕柔的音樂(lè)，閱讀一些有趣的書籍等，有助于緩解緊張和焦慮，使你更容易入睡。
4. 避免飲用含有咖啡因的飲料:咖啡因是一種刺激性物質(zhì)，會(huì)影響你的睡眠質(zhì)量。盡量避免在睡前飲用含有咖啡因的飲料，例如咖啡，茶和可樂(lè)。
5. 避免在床上做與睡眠無(wú)關(guān)的事情:在床上做些與睡眠無(wú)關(guān)的事情，例如看電影，玩游戲或工作等，可能會(huì)干擾你的睡眠。
6. 嘗試呼吸技巧:深呼吸是一種放松技巧，可以幫助你緩解緊張和焦慮，使你更容易入睡。試著慢慢吸氣，保持幾秒鐘，然后緩慢呼氣。

如果這些方法無(wú)法幫助你入睡，你可以考慮咨詢醫(yī)生或睡眠專家，尋求進(jìn)一步的建議。

模型的實(shí)現(xiàn)仍然處在變動(dòng)中。如果希望固定使用的模型實(shí)現(xiàn)以保證兼容性，可以在?from_pretrained?的調(diào)用中增加?revision="v1.1.0"?參數(shù)。v1.1.0?是當(dāng)前最新的版本號(hào)，完整的版本列表參見?Change Log。

從本地加載模型

以上代由?transformers?自動(dòng)下載模型實(shí)現(xiàn)和參數(shù)。完整的模型實(shí)現(xiàn)可以在?Hugging Face Hub。如果你的網(wǎng)絡(luò)環(huán)境較差，下載模型參數(shù)可能會(huì)花費(fèi)較長(zhǎng)時(shí)間甚至失敗。此時(shí)可以先將模型下載到本地，然后從本地加載。

從 Hugging Face Hub 下載模型需要先安裝Git LFS，然后運(yùn)行

git clone https://huggingface.co/THUDM/chatglm-6b

如果你從 Hugging Face Hub 上下載 checkpoint 的速度較慢，可以只下載模型實(shí)現(xiàn)

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm-6b

然后從這里手動(dòng)下載模型參數(shù)文件，并將下載的文件替換到本地的?chatglm-6b?目錄下。

將模型下載到本地之后，將以上代碼中的?THUDM/chatglm-6b?替換為你本地的?chatglm-6b?文件夾的路徑，即可從本地加載模型。

Optional?模型的實(shí)現(xiàn)仍然處在變動(dòng)中。如果希望固定使用的模型實(shí)現(xiàn)以保證兼容性，可以執(zhí)行

git checkout v1.1.0

Demo & API

我們提供了一個(gè)基于?Gradio?的網(wǎng)頁(yè)版 Demo 和一個(gè)命令行 Demo。使用時(shí)首先需要下載本倉(cāng)庫(kù)：

git clone https://github.com/THUDM/ChatGLM-6B
cd ChatGLM-6B

ChatGLM官網(wǎng)入口網(wǎng)址

https://github.com/THUDM/ChatGLM-6B

OpenI小編發(fā)現(xiàn)ChatGLM網(wǎng)站非常受用戶歡迎，請(qǐng)?jiān)L問(wèn)ChatGLM網(wǎng)址入口試用。