AIGC動態歡迎閱讀

原標題：如何防止模型被？基于TVM的端上模型部署加密方案
關鍵字：模型,文件,高效,編譯器,張量
文章來源：大數據文摘
內容字數：3698字

內容摘要：

大數據文摘受權轉載自云鼎實驗室
2023年在AI的發展史上一定是濃墨重彩的一筆，在這一年里出現了百模大戰、全民“煉丹”的場面，圍繞著各種模型的訓練技術和算力需求有很多討論。隨著模型的成熟以及算力市場的發展，7B、13B這類小型號的模型也出現了端上部署的需求，其中以移動設備廠商最為突出。2024年，在端上部署和應用模型也可能會成為各家移動廠商的一個營銷熱點。
在端上部署推理模型自然就會帶來一個安全問題，如何保證模型文件的安全？LLM的架構目前都是Transformer的變體，如果拿到模型文件，借助開源的代碼很容易完成適配，然后就可以異地部署起來。LLM現在從零開始預訓練、指令微調、強化學習到最后可用，成本并不低，如果很容易被別人到模型文件并被推理使用，會造成不小的損失。
為了解決上面這個安全問題，我們借助TVM編譯器幫助我們實現高效模型推理部署，并在TVM中引入Tensor加解密層。這樣模型文件在本地是處于加密狀態，在推理運行的時候才是解密狀態，以此保證模型文件不被輕易。下面介紹技術細節。TVM簡介
TVM全稱Tensor Virtual Machine，中文名稱張量虛擬機，它主

原文鏈接：如何防止模型被？基于TVM的端上模型部署加密方案

聯系作者

文章來源：大數據文摘
作者微信：BigDataDigest
作者簡介：普及數據思維，傳播數據文化