AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：電腦平板組AI集群，在家就能跑400B大模型，GitHub狂攬2.5K星?
關(guān)鍵字：設(shè)備,框架,模型,集群,作者
文章來源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

克雷西 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI不用H100，三臺(tái)蘋果電腦就能帶動(dòng)400B大模型。
背后的功臣，是GitHub上的一個(gè)開源分布式AI推理框架，已經(jīng)斬獲了2.5k星標(biāo)。
利用這個(gè)框架，幾分鐘就能用iPhone、iPad等日常設(shè)備構(gòu)建出自己的AI算力集群。
這個(gè)框架名叫exo，不同于其他的分布式推理框架，它采用了p2p的連接方式，將設(shè)備接入網(wǎng)絡(luò)即可自動(dòng)加入集群。
開發(fā)者使用exo框架連接了兩臺(tái)MacBook Pro和一臺(tái)Mac Studio，運(yùn)算速度達(dá)到了110TFLOPS。
同時(shí)這位開發(fā)者表示，已經(jīng)準(zhǔn)備好迎接即將到來的Llama3-405B了。
exo官方也放話稱，將在第一時(shí)間（day 0）提供對Llama3-405B的支持。
而且不只是電腦，exo可以讓iPhone、iPad等設(shè)備也加入本地算力網(wǎng)絡(luò)，甚至Apple Watch也同樣能夠吸納。
隨著版本的迭代，exo框架也不再是蘋果限定（起初只支持MLX），有人把安卓手機(jī)和4090顯卡也拉進(jìn)了集群。
最快60秒完成配置與其他分布式推理框架不同，exo不使用master-worker架構(gòu)，而是點(diǎn)對點(diǎn)（p2p）地將設(shè)備進(jìn)

原文鏈接：電腦平板組AI集群，在家就能跑400B大模型，GitHub狂攬2.5K星?

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：