Transformer并非萬能：Jamba在效率和吞吐量上大幅超越

AIGC動態(tài)歡迎閱讀

原標題：Transformer并非萬能：Jamba在效率和吞吐量上大幅超越
關鍵字：模型,架構,長上,吞吐量,注意力
文章來源：AI范兒
內容字數(shù)：4240字

內容摘要：

點擊上方藍字關注我們“AI21 Labs推出Jamba，一種結合SSM與transformers的新AI模型，旨在提高處理長上下文的效率。Jamba在特定推理任務上超越傳統(tǒng)模型，盡管在多任務語言理解上尚未領先。該公司計劃提供beta版本，展現(xiàn)其在AI領域的創(chuàng)新潛力。自2017年《注意力是你所需要》的研究論文發(fā)表以來，transformers技術便在人工智能領域占據(jù)了主導地位。然而，AI21 Labs最近提出的Jamba技術，展示了一種超越傳統(tǒng)transformers的新路徑。
Transformer的局限性盡管transformers至今在AI領域占據(jù)主導地位，但它仍有不足之處。最顯著的問題是，隨著上下文窗口的擴大，推理過程會相應變慢。AI21 Labs的研究人員指出，transformer的注意力機制隨著序列長度的增加而變得復雜，導致吞吐量下降，因為每個token的處理都依賴于它之前的所有序列。這使得處理長上下文的任務難以高效完成。
另一個問題是，transformers在擴展過程中需要大量的內存資源。隨著上下文長度的增加，transformers的內存占用也隨之增加，這使得在沒有充

原文鏈接：Transformer并非萬能：Jamba在效率和吞吐量上大幅超越

聯(lián)系作者

文章來源：AI范兒
作者微信：AI_Insights
作者簡介：AI領域四大媒體之一。 智能未來，始于Prompt！