我與vLLM的2024：清華大佬的vLLM開(kāi)發(fā)之路

也許二十年后再回首，我們會(huì)發(fā)現(xiàn)，現(xiàn)在我們就站在下一個(gè)“互聯(lián)網(wǎng)級(jí)奇跡”的起點(diǎn)上。

原標(biāo)題：我與vLLM的2024：清華大佬的vLLM開(kāi)發(fā)之路
文章來(lái)源：智猩猩GenAI
內(nèi)容字?jǐn)?shù)：12100字

vLLM項(xiàng)目參與者2024年經(jīng)歷回顧

本文回顧了作者2024年參與vLLM開(kāi)源項(xiàng)目的心路歷程，從初入項(xiàng)目到深度參與，見(jiàn)證了vLLM的成長(zhǎng)和發(fā)展，并分享了在項(xiàng)目中遇到的挑戰(zhàn)和收獲，以及對(duì)AI未來(lái)發(fā)展的思考。

1. 項(xiàng)目緣起與ChatGPT的沖擊

作者在2019年UC Berkeley的RISELab暑期研修期間結(jié)識(shí)了vLLM的未來(lái)創(chuàng)始人，五年后因ChatGPT的出現(xiàn)以及對(duì)AI研究現(xiàn)狀的困惑，決定轉(zhuǎn)向機(jī)器學(xué)習(xí)系統(tǒng)研究，最終參與了vLLM項(xiàng)目。

2. 初入vLLM：開(kāi)源項(xiàng)目的管理與挑戰(zhàn)

作者加入vLLM后，首先將PyTorch的開(kāi)源管理經(jīng)驗(yàn)移植到vLLM，并通過(guò)訂閱GitHub消息，快速了解項(xiàng)目，并解決問(wèn)題。期間，作者主要負(fù)責(zé)解決PyTorch版本升級(jí)帶來(lái)的兼容性問(wèn)題，以及vLLM的分布式推理。

3. PyTorch 2.2的挑戰(zhàn)與John Schulman的合作

將vLLM依賴(lài)的PyTorch從2.1升級(jí)到2.2的過(guò)程中，作者發(fā)現(xiàn)了內(nèi)存占用異常增加的問(wèn)題，經(jīng)過(guò)三個(gè)月的排查，最終找到并解決了問(wèn)題。在解決RLHF流程中類(lèi)似問(wèn)題時(shí)，作者與OpenAI的John Schulman合作，將權(quán)重更新時(shí)間從3分鐘壓縮到4秒。

4. 從GPU Poor到GPU Rich：社區(qū)的幫助與支持

由于資源限制，vLLM早期性能測(cè)試受限。在社區(qū)的幫助下，NVIDIA、AWS、Google Cloud等提供了大量計(jì)算資源，解決了燃眉之急。作者強(qiáng)調(diào)了社區(qū)支持對(duì)vLLM發(fā)展的重要性。

5. LLaMA 3.1 405B的挑戰(zhàn)與成功

作者參與了對(duì)LLaMA 3.1 405B模型的支持工作，開(kāi)發(fā)了多機(jī)分布式推理功能，成功支持了該模型的推理，并最終使得Meta的十個(gè)官方發(fā)布合作伙伴中有八個(gè)選擇了vLLM。

6. vLLM的重構(gòu)與優(yōu)化：性能與硬件兼容性

為了解決早期性能跟蹤機(jī)制不足的問(wèn)題，作者參與了vLLM的重構(gòu)工作，增加了基于ZMQ的API服務(wù)器、多步調(diào)度等特性，并創(chuàng)建了vllm.platforms子模塊，以提高性能和硬件兼容性。

7. torch.compile集成與PyTorch生態(tài)系統(tǒng)

作者推動(dòng)vLLM加入PyTorch生態(tài)系統(tǒng)，并與PyTorch團(tuán)隊(duì)合作，開(kāi)發(fā)了vLLM專(zhuān)屬的推理優(yōu)化torch.compile技術(shù)棧。

8. PyTorch Conference與Meetup：技術(shù)交流與學(xué)習(xí)

作者參加了PyTorch 2024大會(huì)，并與多位業(yè)內(nèi)專(zhuān)家交流學(xué)習(xí)，分享了在硅谷技術(shù)社區(qū)的參與經(jīng)歷。

9. vLLM的未來(lái)與開(kāi)源精神

作者認(rèn)為vLLM將成為智能時(shí)代的“Linux”，并希望通過(guò)加入Linux基金會(huì)，進(jìn)一步壯大社區(qū)，共同建設(shè)智能時(shí)代的生態(tài)系統(tǒng)。

10. 硬件親和性與算法發(fā)展

作者引用《The Hardware Lottery》論文，強(qiáng)調(diào)了硬件親和性對(duì)算法成功的重要性，建議算法研究人員應(yīng)與硬件發(fā)展緊密結(jié)合，而非僅僅依靠“硬件彩票”。

11. 泡沫與奇跡：對(duì)AI未來(lái)發(fā)展的展望

作者認(rèn)為AI發(fā)展如同互聯(lián)網(wǎng)發(fā)展一樣，經(jīng)歷泡沫后仍將擁有巨大的潛力，并對(duì)AI的未來(lái)發(fā)展充滿(mǎn)信心。

聯(lián)系作者

文章來(lái)源：智猩猩GenAI
作者微信：
作者簡(jiǎn)介：智猩猩旗下公眾號(hào)之一，深入關(guān)注大模型與AI智能體，及時(shí)搜羅生成式AI技術(shù)產(chǎn)品。