Llama提速500%！谷歌美女程序員手搓矩陣乘法內核

AIGC動態歡迎閱讀

原標題：Llama提速500%！谷歌美女程序員手搓矩陣乘法內核
關鍵字：報告,內核,英特爾,速度,性能
文章來源：新智元
內容字數：6185字

內容摘要：

新智元報道編輯：alan
【新智元導讀】近日，天才程序員Justine Tunney發推表示自己更新了Llamafile的代碼，通過手搓84個新的矩陣乘法內核，將Llama的推理速度提高了500%！谷歌的美女程序員，將Llama的推理速度提高了500%！
近日，天才程序員Justine Tunney發推表示自己更新了Llamafile的代碼，
她重寫了84個新的矩陣乘法內核，使得Llamafile可以更快地讀取提示和圖像。
與llama.cpp相比，新的Llamafile在CPU上的推理速度提升了30%到500%。
其中，ARMv8.2+（如RPI 5）、Intel（如Alderlake）和AVX512（如Zen 4）計算機的改進最為顯著。
另外，對于適合L2緩存的矩陣，新的內核比MKL快2倍！
Justine Tunney表示：負責MKL的大家，你們有事做了！
畢竟，由微軟，英特爾，TI，AMD，HPE，Oracle，Huawei，Facebook，ARM和National Science Foundation資助的BLIS，作為最強大的開源BLAS，輸了就太沒面子了！
Any t

原文鏈接：Llama提速500%！谷歌美女程序員手搓矩陣乘法內核

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。