太酷了！iPhone、iPad、MacBook老舊設備組成異構集群，能跑Llama 3

AIGC動態歡迎閱讀

原標題：太酷了！iPhone、iPad、MacBook老舊設備組成異構集群，能跑Llama 3
關鍵字：集群,模型,設備,代碼,硬件
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
機器之心編輯部假如你有閑置的設備，或許可以試一試。這次，你手里的硬件設備也能在 AI 領域大展拳腳了。
將 iPhone、iPad、Macbook 進行組合，就能組裝成「異構集群推理方案」， 然后順暢的運行 Llama3 模型。值得一提的是，這個異構集群可以是 Windows 系統，也可以是Linux、iOS 系統，并且對 Android 的支持很快到來。
異?構?集群正在運行中。?
根據項目作者 @evilsocket 的介紹，這個異構集群包括 iPhone 15 Pro Max、iPad Pro、MacBook Pro (M1 Max)、NVIDIA GeForce 3080、2x NVIDIA Titan X Pascal。所有代碼都已經上傳到 GitHub。
看到這，網友紛紛表示，這位老哥確實不簡單。不過也有網友開始擔心能耗問題，暫且不管速度，電費都耗不起。來回搬數據，損耗太大了。項目介紹
上述功能的實現，離不開一個名為 Cake 的 Rust 框架。Cake 可以完成大模型（例如 Llama3）的分布式推理，旨在將消費級硬件組合成異構集群，其中消費級硬件采用多種

原文鏈接：太酷了！iPhone、iPad、MacBook老舊設備組成異構集群，能跑Llama 3

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺