Liquid AI推出性STAR模型：超越Transformer的高效新紀元

隨著有關頂級人工智能公司在開發(fā)更新、更強大的大型語言模型方面面臨困難的謠言和報道不斷流傳，人們的注意力越來越多地轉向“Transformer”的替代架構。

原標題：Liquid AI 發(fā)布新 STAR 模型架構，稱比 Transformer 效率更高
文章來源：AI前線
內容字數：5857字

人工智能架構設計的創(chuàng)新進展

隨著頂級人工智能公司在開發(fā)大型語言模型（LLM）方面遇到困難，研究者開始關注“Transformer”的替代架構。麻省理工學院的初創(chuàng)公司Liquid AI近期報告了在自動化神經網絡架構設計方面的進展，尤其是他們開發(fā)的基于進化算法的定制架構合成（STAR）算法。

1. STAR算法的核心創(chuàng)新

STAR算法通過將模型架構表示為稱為STAR基因組的分層數值序列，自動化了架構發(fā)現和優(yōu)化的過程。Liquid AI利用進化優(yōu)化原理對這些基因組進行迭代，以形成高性能的模型架構。進化過程可以根據靜態(tài)和動態(tài)目標進行指導，確保生成的架構既新穎又高效。

2. 線性輸入可變系統（LIV）的應用

Liquid AI提出了一類新的通用計算單元——線性輸入可變系統（LIV），為深度學習中的現代計算單元提供了新的設計框架。LIV的設計可以根據輸入上下文調節(jié)其計算，從而優(yōu)化模型性能。這種設計不僅提高了模型質量，還降低了參數數量和延遲。

3. 性能優(yōu)于傳統架構

Liquid AI通過STAR算法合成的架構在多個基準測試中表現優(yōu)于傳統的Transformer和混合架構。尤其是在優(yōu)化質量時，經過評估的STAR進化架構在下游評估基準中的表現超過了注意力循環(huán)混合架構，顯示出其強大的設計潛力。

4. 多目標優(yōu)化的靈活性

STAR算法具備多目標優(yōu)化能力，能夠同時考慮質量、模型大小和延遲等因素。這使得Liquid AI能夠設計出適用于邊緣計算和資源受限環(huán)境的高效模型。此外，STAR還為架構設計提供了分析工具，幫助識別進化過程中的重復主題，推動性能的進一步提升。

5. 未來的研究方向

Liquid AI希望通過進一步完善STAR的進化算法和初始種群，使每一代架構都優(yōu)于前一代，并將類似的方法應用于其他模塊化設計領域。隨著對架構模式和目標的理解不斷加深，Liquid AI的架構設計將持續(xù)推動人工智能技術的發(fā)展。

聯系作者

文章來源：AI前線
作者微信：
作者簡介：面向AI愛好者、開發(fā)者和科學家，提供大模型最新資訊、AI技術分享干貨、一線業(yè)界實踐案例，助你全面擁抱AIGC。