70B大模型訓練秘方① ：數據集創建與評估

AIGC動態歡迎閱讀

原標題：70B大模型訓練秘方① ：數據集創建與評估
關鍵字：模型,數據,問題,質量,報告
文章來源：智猩猩GenAI
內容字數：0字

內容摘要：

今年6月，大模型公司Imbue預訓練了一個70B參數的模型，并在多選推理基準上進行了微調。在這些基準上，Imbue微調的模型超越了GPT-4o zero-shot表現（該模型未在這些基準上進行微調）。Imbue的微調模型，基于2萬億個Token進行預訓練，其性能也接近于在超過7倍數據量上預訓練的Llama3 70B微調模型的性能。
由于他們在沒有使用思維鏈的情況下評估了GPT-4o zero-shot的性能，因此上文指出的性能表現并不代表它在這些數據集上能達到的最佳成績。然而，這是與微調后的70B模型評估最直接的對比，這些評估同樣不包括思維鏈。
通過使用他們提出的超參數優化器CARBS，他們在首次嘗試時將該系統規模擴展到70B參數，同時保持訓練過程中的最小不穩定性，并未出現損失激增的情況。這涉及到訓練數千個密集型Transformer模型，具有分組查詢注意力、SwiGLU激活、RMS歸一化和自定義詞元分詞器，并在一系列較小規模的范圍內訓練。
為了方便其他團隊進行訓練、擴展和評估針對各自研究和產品目標的模型，他們正在發布促進這項工作的工具。
本文中，他們要分享的是用于模型評估的數據集，包

原文鏈接：70B大模型訓練秘方① ：數據集創建與評估

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：