標簽：長上

Meta再放「長文本」殺器Llama 2-Long：70B尺寸登頂最強「32k上下文」模型，超越ChatGPT

新智元報道編輯：LRS【新智元導讀】Llama 2-Long計算量需求比重新訓練降低40%，還不影響短任務性能！雖然大型語言模型在處理日常問答、總結文本等任務上表現...
閱讀原文

將LLaMA2上下文擴展至100k，MIT、港中文有了LongLoRA方法

機器之心報道機器之心編輯部無需過多計算資源即可擴展大模型上下文長度。一般來說，大模型預訓練時文本長度是固定的，如果想要支持更長文本，就需要對模型進...
閱讀原文
123