Instella – AMD開源的30億參數(shù)系列語言模型

Instella是什么

Instella是由AMD推出的一款開源語言模型，擁有30億個參數(shù)。該模型完全依托于AMD Instinct? MI300X GPU進行從零開始的訓(xùn)練，采用自回歸Transformer架構(gòu)，設(shè)有36個解碼器層和32個注意力頭，能夠處理最長達4096個標(biāo)記的序列。Instella經(jīng)過多階段的訓(xùn)練流程，包括大規(guī)模的預(yù)訓(xùn)練、監(jiān)督微調(diào)和偏好優(yōu)化，顯著提升了其在自然語言理解、指令執(zhí)行及對話能力等方面的表現(xiàn)。在多個基準(zhǔn)測試中，Instella的表現(xiàn)超越了現(xiàn)有的開源模型，與最頂尖的開源權(quán)重模型相媲美。AMD全方位開源了Instella的模型權(quán)重、訓(xùn)練配置、數(shù)據(jù)集和代碼，旨在推動AI社區(qū)的合作與創(chuàng)新。

Instella的主要功能

• 自然語言理解：能夠理解復(fù)雜的自然語言文本，處理多種語言任務(wù)，如問答、文本生成及語義分析。
• 指令跟隨：通過監(jiān)督微調(diào)（SFT）及直接偏好優(yōu)化（DPO），準(zhǔn)確理解并執(zhí)行用戶指令，生成符合人類需求的回答。
• 多輪對話能力：支持多輪交互，能夠根據(jù)上下文維持連貫的對話。
• 問題解決能力：在數(shù)學(xué)、邏輯推理和知識問答等任務(wù)中表現(xiàn)優(yōu)秀。
• 多領(lǐng)域適應(yīng)性：憑借多樣化的訓(xùn)練數(shù)據(jù)，適應(yīng)學(xué)術(shù)、編程、數(shù)學(xué)及日常對話等多個領(lǐng)域。

Instella的技術(shù)原理

• Transformer架構(gòu)：基于自回歸Transformer架構(gòu)，包含36個解碼器層，每層擁有32個注意力頭，可處理最長4096個標(biāo)記的序列。
• 高效訓(xùn)練技術(shù)：采用FlashAttention-2、Torch Compile和bfloat16混合精度訓(xùn)練，優(yōu)化了內(nèi)存使用及計算效率。
• 多階段訓(xùn)練：使用4.065萬億標(biāo)記進行大規(guī)模預(yù)訓(xùn)練，建立基礎(chǔ)語言理解能力。在此基礎(chǔ)上，進一步訓(xùn)練使用了額外的575.75億標(biāo)記，以增強特定任務(wù)的能力。
• 監(jiān)督微調(diào)（SFT）：利用高質(zhì)量的指令-響應(yīng)對數(shù)據(jù)進行微調(diào)，提高指令跟隨能力。
• 直接偏好優(yōu)化（DPO）：通過人類偏好的數(shù)據(jù)對模型進行優(yōu)化，確保輸出更符合人類的價值觀。
• 分布式訓(xùn)練：采用完全分片數(shù)據(jù)并行（FSDP）技術(shù)，將模型參數(shù)、梯度和優(yōu)化器狀態(tài)在節(jié)點內(nèi)分片，并在節(jié)點間進行復(fù)制，實現(xiàn)大規(guī)模集群訓(xùn)練。
• 數(shù)據(jù)集：基于多樣化的高質(zhì)量數(shù)據(jù)集進行訓(xùn)練，包括學(xué)術(shù)、編程、數(shù)學(xué)和對話數(shù)據(jù)，確保模型具備廣泛的知識和能力。

Instella的項目地址

• 項目官網(wǎng)：https://rocm.blogs.amd.com/artificial-intelligence/introducing-instella
• GitHub倉庫：https://github.com/AMD-AIG-AIMA/Instella
• HuggingFace模型庫：https://huggingface.co/collections/amd/instella

Instella的應(yīng)用場景

• 智能客服：自動回答客戶提問，提供個性化服務(wù)，提升客戶體驗。
• 內(nèi)容創(chuàng)作：生成文案、故事等，幫助內(nèi)容創(chuàng)作者提高工作效率。
• 教育輔導(dǎo)：解答學(xué)術(shù)問題，提供學(xué)習(xí)建議，支持學(xué)生學(xué)習(xí)。
• 編程輔助：生成代碼片段，提供編程建議，幫助開發(fā)者解決問題。
• 企業(yè)知識管理：整合企業(yè)內(nèi)部知識，提供咨詢服務(wù)，提升協(xié)作效率。

常見問題

• Instella的開源性質(zhì)是什么？Instella完全開源，提供模型權(quán)重、訓(xùn)練配置和數(shù)據(jù)集，促進社區(qū)合作。
• Instella的訓(xùn)練數(shù)據(jù)來源是什么？該模型使用多樣化的高質(zhì)量數(shù)據(jù)集進行訓(xùn)練，涵蓋學(xué)術(shù)、編程、數(shù)學(xué)和對話等多個領(lǐng)域。
• Instella適合哪些應(yīng)用場景？Instella廣泛適用于智能客服、內(nèi)容創(chuàng)作、教育輔導(dǎo)、編程輔助等各種場景。
• 如何獲取Instella的代碼和模型？可以通過項目官網(wǎng)、GitHub倉庫及HuggingFace模型庫獲取相關(guān)資源。