AIGC動態歡迎閱讀

原標題：盛名一時的BERT哪去了？這個問題的答案昭示了LLM范式的轉變
關鍵字：模型,編碼器,解碼器,目標,任務
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
編輯：Panda編碼器模型哪去了？如果 BERT 效果好，那為什么不擴展它？編碼器 – 解碼器或僅編碼器模型怎么樣了？在大型語言模型（LLM）領域，現在是僅解碼器模型（如 GPT 系列模型）獨領的時代。那編碼器 – 解碼器或僅編碼器模型發展如何呢？為什么曾經盛名一時的 BERT 卻漸漸少有人關注了？
近日，AI 創業公司 Reka 的首席科學家和聯合創始人 Yi Tay 發布了一篇博客文章，分享了他的看法。Yi Tay 在參與創立 Reka 之前曾在 Google Research 和谷歌大腦工作過三年多時間，參與過 PaLM、UL2、Flan-2、Bard 等著名 LLM 以及 PaLI-X 和 ViT-22B 等多模態模型的研發工作。以下為他的博客文章內容。基礎簡介
總體上看，過去這些年的 LLM 模型架構主要分為三大范式：僅編碼器模型（如 BERT）、編碼器 – 解碼器模型（如 T5）、僅解碼器模型（如 GPT 系列模型）。人們常常搞不清楚這些，并且對這些分類方法和架構有所誤解。
首先要理解的一點是：編碼器 – 解碼器模型實際上也是自回歸模型。在編碼器 – 解碼

原文鏈接：盛名一時的BERT哪去了？這個問題的答案昭示了LLM范式的轉變

聯系作者

文章來源：機器之心
作者微信：
作者簡介：