30B！每秒100tokens！這是AMD對AI PC的“幻想時間”

AIGC動態歡迎閱讀

原標題：30B！每秒100tokens！這是AMD對AI PC的“幻想時間”
關鍵字：模型,參數,內存,帶寬,精度
文章來源：夕小瑤科技說
內容字數：0字

內容摘要：

夕小瑤科技說 原創作者 | 谷雨龍澤隨著AI的高速發展，從去年開始，掛在服務器的云端AI模型已經不能滿足技術發燒友的胃口了，AI PC應運而生。
AI PC就是內嵌個人大模型的電腦，具備更強的算力、更大的存儲空間和更順暢的自然語言交互功能，其核心特征包括CPU、GPU和NPU的本地混合計算架構，能夠支持個人終端和家庭主機/企業主機協同運算。
一直以來，受到硬件條件的限制，AI PC的AI表現一直不是很出色。沒辦法，自己電腦就那點東西，怎么能和一車一車顯卡堆起來的云端大模型比呢？
但是這并不妨礙各大廠家對未來的美好暢想。近期，AMD就對未來的AI PC進行了預測：
未來的AI PC將以每秒100個token的速度運行30B參數模型！
30B和100token/s，意味著什么？AMD預測未來的AI PC將以每秒100個token的速度運行300億參數模型，首個token的延遲達到100毫秒，而現在的技術只能做到70億參數、每秒20個token，首個token的延遲為1至4秒。
▲現有AI PC（Ryzen AI 300）和AMD對AI PC的展望對比300億參數的模型相比當前的70億參數模

原文鏈接：30B！每秒100tokens！這是AMD對AI PC的“幻想時間”

聯系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業、有趣、深度價值導向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內外機構投資人，互聯網大廠中高管和AI公司創始人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備敏銳的行業嗅覺和洞察深度。商務合作：zym5189