BERT是一個transformers模型，它是在一個大型英文語料庫上進行自監督預訓練的。這意味著它僅在原始文本上進行預訓練，沒有任何人類以任何方式對其進行標注（這就是為什么它可以使用大量公開可用的數據），并使用自動過程從這些文本中生成輸入和標簽。更準確地說，它是通過兩個目標進行預訓練的：

• 掩碼語言建模（MLM）：將一個句子，模型隨機屏蔽輸入中15％的單詞，然后將整個屏蔽的句子通過模型運行，并預測屏蔽的單詞。這與傳統的遞歸神經網絡（RNN）不同，后者通常一個接一個地看到單詞，或者與GPT這樣的自回歸模型內部屏蔽未來的標記。它允許模型學習句子的雙向表示。
• 下一句預測（NSP）：模型在預訓練期間將兩個掩碼句子連接在一起作為輸入。有時它們對應于原始文本中相鄰的句子，有時則不是。然后，模型必須預測這兩個句子是否相互跟隨。

通過這種方式，模型學習了英語語言的內部表示，然后可以用于提取對下游任務有用的特征：例如，如果您有一個標記的句子數據集，您可以使用BERT模型生成的特征作為輸入來訓練標準分類器。
本文URL：https://www.ainavpro.com/sites/2559.html