Reka Flash 3 – Reka AI 推出的開源推理模型

Reka Flash 3 是 Reka AI 推出的開源推理模型，具有 21 億個參數(shù)，能夠處理文本、圖像、視頻和音頻等多種輸入形式。該模型支持長達(dá) 32,000 個令牌的上下文長度，適用于多種場景，如日常對話、代碼協(xié)助和指令執(zhí)行等。

Reka Flash 3是什么

Reka Flash 3 是 Reka AI 發(fā)布的一款開源推理模型，擁有 21 億個參數(shù)。它支持多模態(tài)輸入，涵蓋文本、圖片、視頻和音頻，能夠處理最大 32,000 個令牌的上下文，適合用于一般對話、編程輔助、指令執(zhí)行等多種應(yīng)用。該模型的完整精度大小為 39GB（fp16），經(jīng)過 4 位量化后可壓縮至 11GB，便于在各類設(shè)備上進(jìn)行部署。

Reka Flash 3的主要功能

• 多模態(tài)輸入支持：Reka Flash 3 能夠處理多種輸入格式，包括文本、圖片、視頻和音頻。
• 高效推理能力：該模型支持最多 32,000 個令牌的上下文長度，能夠應(yīng)對長篇文檔和復(fù)雜任務(wù)，例如詳細(xì)論文、代碼片段或多步驟問題。
• 多語言支持：Reka Flash 3 在多種語言處理上表現(xiàn)優(yōu)異，尤其以英語為主，在 WMT’23 的 COMET 得分達(dá) 83.2，滿足不同語言用戶的需求。

Reka Flash 3的技術(shù)原理

• 模塊化的編碼器-解碼器架構(gòu)：Reka Flash 3 采用模塊化的編碼器-解碼器架構(gòu)，編碼器負(fù)責(zé)處理多類型輸入數(shù)據(jù)，將其轉(zhuǎn)換為高維向量表示，而解碼器則基于這些輸出生成相應(yīng)的文本。
• 強(qiáng)化學(xué)習(xí)訓(xùn)練：訓(xùn)練過程中結(jié)合了公開數(shù)據(jù)集和合成數(shù)據(jù)集，應(yīng)用 REINFORCE Leave One-Out（RLOO）方法進(jìn)行強(qiáng)化學(xué)習(xí)，以平衡模型的能力與效率，從而提高對高質(zhì)量內(nèi)容的理解與生成能力。
• 預(yù)算機(jī)制：用戶可以通過特定的 <reasoning> 標(biāo)簽，限制模型的推理步驟，以確保在有限的計算資源下保持高效和一致的表現(xiàn)。

Reka Flash 3的項(xiàng)目地址

• HuggingFace模型庫：https://huggingface.co/RekaAI/reka-flash-3

Reka Flash 3的應(yīng)用場景

• 一般對話：Reka Flash 3 能夠進(jìn)行自然流暢的對話，提供陪伴和信息查詢等服務(wù)。
• 編碼輔助：該模型可幫助開發(fā)者編寫代碼、解決調(diào)試問題，并提供優(yōu)化建議。
• 指令跟隨：Reka Flash 3 能夠理解和執(zhí)行復(fù)雜指令，完成生成報告、分析數(shù)據(jù)等任務(wù)。
• 網(wǎng)絡(luò)搜索輔助：該模型可以調(diào)用網(wǎng)絡(luò)搜索功能，獲取更多信息以幫助回答用戶問題。