“小語言模型”或成為龐大人工智能選項的替代品

AIGC動態(tài)歡迎閱讀

原標(biāo)題：“小語言模型”或成為龐大人工智能選項的替代品
關(guān)鍵字：報告,模型,參數(shù),微軟,語言
文章來源：人工智能學(xué)家
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

ISTOCK
來源：IEEE電氣電子工程師學(xué)會
科技公司已經(jīng)陷入了建立大型語言模型（LLM，https://spectrum.ieee.org/ai-index-2024）的競爭中。例如，今年4月，Meta宣布了4000億個參數(shù)Llama 3，其中包含的參數(shù)數(shù)量是OpenAI 2022年最初的ChatGPT模型的兩倍，即決定模型如何響應(yīng)查詢的變量。雖然沒有得到證實，但GPT-4的參數(shù)估計約為1.8萬億。
然而，在過去的幾個月里，包括蘋果和微軟在內(nèi)的一些最大的科技公司推出了小型語言模型。這些模型只是LLM模型的一小部分，但在許多基準(zhǔn)測試中，它們在文本生成方面可以與LLM模型相匹配，甚至優(yōu)于LLM模型。
6月10日，在蘋果全球開發(fā)者大會上，該公司發(fā)布了其“Apple Intelligence”模型（https://www.apple.com/apple-intelligence/），其參數(shù)約為30億。4月下旬，微軟發(fā)布了其Phi-3 SLM系列，其型號包含38億至140億個參數(shù)。
在一系列測試中（https://arxiv.org/pdf/2404.14219），微軟最小的模型Phi-3-

原文鏈接：“小語言模型”或成為龐大人工智能選項的替代品