AIGC動態(tài)歡迎閱讀

原標題：僅用250美元，Hugging Face技術主管手把手教你微調(diào)Llama 3
關鍵字：模型,數(shù)據(jù),內(nèi)存,作者,樣本
文章來源：機器之心
內(nèi)容字數(shù)：17202字

內(nèi)容摘要：

機器之心報道
編輯：趙陽大語言模型的微調(diào)一直是說起來容易做起來難的事兒。近日 Hugging Face 技術主管 Philipp Schmid 發(fā)表了一篇博客，詳細講解了如何利用 Hugging Face 上的庫和 fsdp 以及 Q-Lora 對大模型進行微調(diào)。我們知道，Meta 推出的 Llama 3、Mistral AI 推出的 Mistral 和 Mixtral 模型以及 AI21 實驗室推出的 Jamba 等開源大語言模型已經(jīng)成為 OpenAI 的競爭對手。
不過，大多數(shù)情況下，使用者需要根據(jù)自己的數(shù)據(jù)對這些開源模型進行微調(diào)，才能充分釋放模型的潛力。
雖然在單個 GPU 上使用 Q-Lora 對較小的大語言模型（如 Mistral）進行微調(diào)不是難事，但對像 Llama 3 70b 或 Mixtral 這樣的大模型的高效微調(diào)直到現(xiàn)在仍是一個難題。
因此，Hugging Face 技術主管 Philipp Schmid 介紹了如何使用 PyTorch FSDP 和 Q-Lora，并在 Hugging Face 的 TRL、Transformers、peft 和 datasets

原文鏈接：僅用250美元，Hugging Face技術主管手把手教你微調(diào)Llama 3

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務平臺