如何估計LLM推理和訓練所需的GPU內存？

AIGC動態歡迎閱讀

原標題：如何估計LLM推理和訓練所需的GPU內存？
關鍵字：模型,侵權,知乎,參數,精度
文章來源：智猩猩GenAI
內容字數：0字

內容摘要：

導讀文章轉載自知乎，作者為孫鵬飛，本文整理了一份訓練或推理需要顯存的計算方式。
原文地址：https://zhuanlan.zhihu.com/p/716317173
本文只做學術/技術分享，如有侵權，聯系刪文。在實際工作中，經常有人問，7B、14B或70B的模型需要多大的顯存才能推理？如果微調他們又需要多大的顯存呢？為了回答這個問題整理一份訓練或推理需要顯存的計算方式。如果大家對具體細節不感興趣，可以直接參考經驗法則評估推理或訓練所需要的資源。更簡單的方式可以通過這個工具（https://llm-system-requirements.streamlit.app/）或者huggface官網計算推理/訓練需要的顯存工具（https://huggingface.co/spaces/hf-accelerate/model-memory-usage）在線評估。
01數據精度開始介紹之前，先說一個重要的概念——數據精度。數據精度指的是信息表示的精細程度，在計算機中是由數據類型和其位數決定的。如果想要計算顯存，從“原子”層面來看，就需要知道我們的使用數據的精度，因為精度代表了數據存儲的方式，決定

原文鏈接：如何估計LLM推理和訓練所需的GPU內存？

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：