Ministral 3B和8B是Mistral AI推出的兩款最新AI小型模型，旨在滿足設備端計算和邊緣應用場景的需求。這兩款模型在知識、常識推理、功能調用和整體效率方面設立了新的標桿，尤其是對于參數數量不足10億的模型。Ministral 3B和8B支持高達128k的上下文長度，其中8B模型采用了創新的交錯滑動窗口注意力機制，使得推理過程更快且更高效。它們適用于設備端翻譯、無需網絡的智能助手、本地數據分析和自主機器人等多種應用，并能與更大規模的語言模型一起使用，成為多步驟工作流程中的高效橋梁。Ministral 3B和8B的API定價分別為每百萬輸入/輸出令牌0.04美元和0.10美元，且支持私有部署與無損量化。

Ministral 3B/8B是什么

Ministral 3B和8B是Mistral AI推出的兩款新型AI小模型，專為設備端計算和邊緣使用場景設計。在知識、常識、推理、功能調用和效率方面為10億參數以下的類別設定新的標準。Ministral 3B和8B支持高達128k的上下文長度，其中8B模型基于特殊的交錯滑動窗口注意力模式，實現更快和更高效的推理。模型能用在設備端翻譯、無需互聯網的智能助手、本地分析和自主機器人等應用，和更大的語言模型配合使用，作為多步驟工作流程中的高效中介。Ministral 3B和8B的API定價分別為每百萬輸入/輸出令牌0.04美元和0.10美元，提供私有部署和無損量化支持。

Ministral 3B/8B的主要功能

• 設備端計算：在智能手機、平板電腦及物聯網設備上運行，提供本地且注重隱私的推理能力。
• 多語言翻譯：在無互聯網連接的情況下進行設備端翻譯，適合需要即時語言轉換的場景。
• 智能助手：作為無需互聯網的智能助手，能夠在本地處理用戶請求和任務。
• 本地分析：適用于需要快速處理和分析數據的應用，無需將數據發送至云端。
• 云平臺集成：與多種云平臺集成，如Azure AI、AWS Bedrock、Google Cloud Vertex AI等，方便用戶調用。

Ministral 3B/8B的技術原理

• 參數優化：Ministral 3B和8B基于優化模型參數，在保持較小模型體積的同時，實現高效的性能。
• 上下文長度：支持高達128k的上下文長度，使模型能夠處理更長的輸入序列，適合復雜任務。
• 交錯滑動窗口注意力模式：Ministral 8B獨特的技術，能夠更快速、更節省內存地進行推理。
• 無損量化：提供模型的無損量化支持，以適應特定使用案例，進一步提升性能。

Ministral 3B/8B的項目地址

• 項目官網：mistral.ai/news/ministraux

Ministral 3B/8B的應用場景

• 設備端翻譯：在智能手機、平板電腦等設備上實現即時語言翻譯，無需網絡支持。
• 智能個人助理：作為個人助理，處理日程安排、提醒事項、信息查詢等任務，即便沒有網絡也能順利運行。
• 本地數據分析：在企業或工業環境中，對敏感數據進行本地分析和處理，保障數據隱私與安全。
• 自主機器人：在無人駕駛汽車、無人機及工業機器人等領域，提供迅速的決策支持與自然語言理解能力。
• 智能家居控制：集成于智能家居設備中，提供語音控制與自動化服務，提升家居智能化水平。