隨著有關頂級人工智能公司在開發更新、更強大的大型語言模型方面面臨困難的謠言和報道不斷流傳，人們的注意力越來越多地轉向“Transformer”的替代架構。

原標題：Liquid AI 發布新 STAR 模型架構，稱比 Transformer 效率更高
文章來源：AI前線
內容字數：5857字

人工智能架構設計的創新進展

隨著頂級人工智能公司在開發大型語言模型（LLM）方面遇到困難，研究者開始關注“Transformer”的替代架構。麻省理工學院的初創公司Liquid AI近期報告了在自動化神經網絡架構設計方面的進展，尤其是他們開發的基于進化算法的定制架構合成（STAR）算法。

1. STAR算法的核心創新

STAR算法通過將模型架構表示為稱為STAR基因組的分層數值序列，自動化了架構發現和優化的過程。Liquid AI利用進化優化原理對這些基因組進行迭代，以形成高性能的模型架構。進化過程可以根據靜態和動態目標進行指導，確保生成的架構既新穎又高效。

2. 線性輸入可變系統（LIV）的應用

Liquid AI提出了一類新的通用計算單元——線性輸入可變系統（LIV），為深度學習中的現代計算單元提供了新的設計框架。LIV的設計可以根據輸入上下文調節其計算，從而優化模型性能。這種設計不僅提高了模型質量，還降低了參數數量和延遲。

3. 性能優于傳統架構

Liquid AI通過STAR算法合成的架構在多個基準測試中表現優于傳統的Transformer和混合架構。尤其是在優化質量時，經過評估的STAR進化架構在下游評估基準中的表現超過了注意力循環混合架構，顯示出其強大的設計潛力。

4. 多目標優化的靈活性

STAR算法具備多目標優化能力，能夠同時考慮質量、模型大小和延遲等因素。這使得Liquid AI能夠設計出適用于邊緣計算和資源受限環境的高效模型。此外，STAR還為架構設計提供了分析工具，幫助識別進化過程中的重復主題，推動性能的進一步提升。

5. 未來的研究方向

Liquid AI希望通過進一步完善STAR的進化算法和初始種群，使每一代架構都優于前一代，并將類似的方法應用于其他模塊化設計領域。隨著對架構模式和目標的理解不斷加深，Liquid AI的架構設計將持續推動人工智能技術的發展。

聯系作者

文章來源：AI前線
作者微信：
作者簡介：面向AI愛好者、開發者和科學家，提供大模型最新資訊、AI技術分享干貨、一線業界實踐案例，助你全面擁抱AIGC。