Granite 4.0 Tiny Preview

Granite 4.0 Tiny Preview – IBM推出的語(yǔ)言模型

Granite 4.0 Tiny Preview 是 IBM 推出的 Granite 4.0 語(yǔ)言模型系列中最小的一款預(yù)覽版本。該模型以其卓越的計(jì)算效率和緊湊的結(jié)構(gòu)而聞名，使其能夠在消費(fèi)級(jí) GPU 上高效運(yùn)行多個(gè)長(zhǎng)上下文任務(wù)（128K），其性能與 Granite 3.3 2B Instruct 相當(dāng)，同時(shí)內(nèi)存需求減少約 72%。

Granite 4.0 Tiny Preview是什么

Granite 4.0 Tiny Preview 是 IBM 最新推出的一款語(yǔ)言模型，屬于 Granite 4.0 系列中的迷你版本。該模型以其高效的計(jì)算能力和小巧的設(shè)計(jì)而受到關(guān)注，能夠在消費(fèi)級(jí) GPU 上高效地處理多個(gè)長(zhǎng)達(dá) 128K 的上下文任務(wù)，性能與 Granite 3.3 2B Instruct 相近，同時(shí)內(nèi)存需求降低了約 72%。此模型采用創(chuàng)新的混合 Mamba-2/Transformer 架構(gòu)，結(jié)合了 Mamba 的高效性與 Transformer 的精確性，并且支持無(wú)位置編碼（NoPE），能夠輕松應(yīng)對(duì)極長(zhǎng)的上下文長(zhǎng)度。

Granite 4.0 Tiny Preview的主要功能

• 高效運(yùn)行：該模型能夠在消費(fèi)級(jí) GPU 上同時(shí)處理多個(gè)長(zhǎng)達(dá) 128K 的任務(wù)，特別適合資源有限的開(kāi)發(fā)者。
• 低內(nèi)存需求：內(nèi)存需求降低約 72%，推理時(shí)僅激活 1B 參數(shù)（總參數(shù)為 7B），顯著降低了硬件要求。
• 長(zhǎng)上下文處理：支持無(wú)位置編碼（NoPE），經(jīng)過(guò)驗(yàn)證能夠處理至少 128K 的長(zhǎng)上下文。
• 推理效率：推理過(guò)程中僅激活部分專家，提升了效率并減少了延遲。

Granite 4.0 Tiny Preview的技術(shù)原理

• 混合架構(gòu)：結(jié)合了 Mamba 的線性計(jì)算復(fù)雜度（適合長(zhǎng)序列）與 Transformer 的精確自注意力機(jī)制。模型中 9 個(gè) Mamba 塊對(duì)應(yīng) 1 個(gè) Transformer 塊，Mamba 塊負(fù)責(zé)高效捕獲全局上下文，而 Transformer 塊則解析局部上下文。
• 混合專家（MoE）：該模型包含 7B 參數(shù)，分為 64 個(gè)專家，推理時(shí)僅激活 1B 參數(shù)，顯著減少了計(jì)算資源的消耗。
• 無(wú)位置編碼（NoPE）：摒棄了傳統(tǒng)的位置編碼技術(shù)，避免了因位置編碼而增加的計(jì)算負(fù)擔(dān)及對(duì)長(zhǎng)序列的限制，保持了卓越的長(zhǎng)上下文性能。
• 長(zhǎng)上下文優(yōu)化：基于 Mamba 的線性擴(kuò)展能力與緊湊的模型設(shè)計(jì)，能夠支持極長(zhǎng)的上下文長(zhǎng)度，理論上可擴(kuò)展至硬件的極限。

Granite 4.0 Tiny Preview的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://www.ibm.com/new/announcements/ibm-granite-4-0-tiny-preview
• HuggingFace模型庫(kù)：https://huggingface.co/ibm-granite/granite-4.0-tiny-preview

Granite 4.0 Tiny Preview的應(yīng)用場(chǎng)景

• 邊緣設(shè)備部署：適合在資源有限的邊緣設(shè)備或消費(fèi)級(jí)硬件上運(yùn)行，適用于輕量級(jí)文本處理任務(wù)。
• 長(zhǎng)文本分析：能夠處理長(zhǎng)達(dá) 128K 的上下文，適合用于長(zhǎng)文本的生成、分析或摘要。
• 多任務(wù)并行：可在同一硬件上同時(shí)運(yùn)行多個(gè)實(shí)例，適合批量處理或多用戶應(yīng)用場(chǎng)景。
• 企業(yè)應(yīng)用開(kāi)發(fā)：可用于智能客服、文檔處理等企業(yè)級(jí)任務(wù)，為企業(yè)提供高效的語(yǔ)言模型支持。
• 低成本研發(fā)：開(kāi)源且支持消費(fèi)級(jí)硬件，便于開(kāi)發(fā)者進(jìn)行低成本的實(shí)驗(yàn)和創(chuàng)新。

常見(jiàn)問(wèn)題

• Granite 4.0 Tiny Preview的系統(tǒng)要求是什么？ 該模型能夠在消費(fèi)級(jí) GPU 上運(yùn)行，具體要求會(huì)根據(jù)任務(wù)復(fù)雜性而有所不同。
• 如何獲取Granite 4.0 Tiny Preview？ 您可以訪問(wèn)項(xiàng)目官網(wǎng)或 HuggingFace 模型庫(kù)進(jìn)行下載和使用。
• 它適合哪些類型的任務(wù)？ 此模型非常適合長(zhǎng)文本生成、分析、企業(yè)應(yīng)用開(kāi)發(fā)等多種任務(wù)，尤其是在資源受限的環(huán)境下表現(xiàn)出色。