在本文中，首先給大家介紹了跨境電商的業(yè)務(wù)以及面臨的挑戰(zhàn)。

原標(biāo)題：阿里巴巴跨境電商場(chǎng)景下的AI模型服務(wù)實(shí)踐
文章來(lái)源：AI前線
內(nèi)容字?jǐn)?shù)：11715字

阿里國(guó)際AI團(tuán)隊(duì)的MarsPlatform：賦能跨境電商的AI模型服務(wù)框架

近年來(lái)，跨境電商行業(yè)蓬勃發(fā)展，但也面臨著語(yǔ)言文化壁壘、人才短缺、成本壓力和合規(guī)復(fù)雜性等諸多挑戰(zhàn)。阿里國(guó)際AI團(tuán)隊(duì)針對(duì)這些痛點(diǎn)，研發(fā)了創(chuàng)新的AI解決方案，并構(gòu)建了共享的AI基礎(chǔ)設(shè)施，以降低AI的使用門檻。本文重點(diǎn)介紹其模型服務(wù)框架MarsPlatform，該框架如何通過(guò)任務(wù)切分調(diào)度、模型推理引擎和計(jì)算集群資源管理三大模塊，為跨境電商業(yè)務(wù)提供高吞吐、低時(shí)延、低成本的模型服務(wù)。

1. 跨境電商面臨的挑戰(zhàn)

中小企業(yè)在跨境電商領(lǐng)域面臨諸多挑戰(zhàn)，例如語(yǔ)言和文化壁壘、人才短缺、成本和競(jìng)爭(zhēng)壓力以及合規(guī)復(fù)雜性等問(wèn)題，這些問(wèn)題都需要大量的人力和物力投入。AI技術(shù)為解決這些問(wèn)題提供了新的可能。

2. 阿里國(guó)際AI團(tuán)隊(duì)及產(chǎn)品

阿里國(guó)際AIDC-AI團(tuán)隊(duì)致力于探索前沿AI技術(shù)與跨境電商業(yè)務(wù)的最佳實(shí)踐。團(tuán)隊(duì)研發(fā)了多語(yǔ)言AI產(chǎn)品，并打造了共享的AI基礎(chǔ)設(shè)施，覆蓋商品發(fā)布、營(yíng)銷投放、售前導(dǎo)購(gòu)和售后服務(wù)等跨境電商全鏈路。目前已服務(wù)全球超過(guò)50萬(wàn)商家，應(yīng)用場(chǎng)景超過(guò)40個(gè)，日均調(diào)用規(guī)模超過(guò)2.5億次，支持60多種語(yǔ)言，并取得了顯著的轉(zhuǎn)化率和滿意度提升。

3. MarsPlatform模型服務(wù)框架

為了應(yīng)對(duì)模型多樣性、高吞吐量、高實(shí)時(shí)性和低成本等挑戰(zhàn)，AIDC-AI團(tuán)隊(duì)開(kāi)發(fā)了MarsPlatform模型服務(wù)框架。該框架包含三個(gè)核心部分：

3.1 MarsTPS – 任務(wù)切分調(diào)度

MarsTPS通過(guò)任務(wù)切分和流水線執(zhí)行，提升計(jì)算并行度和吞吐量。它將任務(wù)分解成DAG圖，并根據(jù)任務(wù)的性能信息和資源情況進(jìn)行自動(dòng)調(diào)度，實(shí)現(xiàn)異構(gòu)計(jì)算和資源利用最大化。在圖片翻譯等場(chǎng)景中，MarsTPS顯著縮短了任務(wù)執(zhí)行時(shí)間，并大幅提升了GPU利用率。

3.2 MarsEngine – 模型推理優(yōu)化

MarsEngine是模型推理引擎，包含請(qǐng)求批處理優(yōu)化、模型量化優(yōu)化、長(zhǎng)文本場(chǎng)景優(yōu)化等模塊。通過(guò)continuous batching技術(shù)，提升批處理效率；通過(guò)AWQ、Smooth Quant等量化方法，降低內(nèi)存帶寬壓力并提升計(jì)算性能；通過(guò)prompt壓縮和token pruning等方法，優(yōu)化長(zhǎng)文本場(chǎng)景下的LLM推理性能；通過(guò)模型剪枝和蒸餾等技術(shù)，進(jìn)一步提升模型推理效率。在智能客服和圖像生成等場(chǎng)景中，MarsEngine實(shí)現(xiàn)了顯著的性能提升。

3.3 MarsPooling – 計(jì)算集群資源管理優(yōu)化

MarsPooling通過(guò)資源池化、動(dòng)態(tài)擴(kuò)縮容和GPU資源隔離等技術(shù)，提升資源利用率并降低成本。它避免了訓(xùn)練資源碎片化和閑置，并通過(guò)MPS和MIG技術(shù)提高GPU利用率。在翻譯場(chǎng)景中，通過(guò)GPU資源隔離，A100的吞吐效率提升了2倍。

4. 總結(jié)與展望

MarsPlatform通過(guò)全鏈路優(yōu)化，為跨境電商業(yè)務(wù)提供了高吞吐、低時(shí)延、低成本的模型服務(wù)。未來(lái)，團(tuán)隊(duì)將繼續(xù)優(yōu)化生圖服務(wù)，發(fā)展多模態(tài)產(chǎn)品，并探索agent應(yīng)用中的性能優(yōu)化，以應(yīng)對(duì)新的挑戰(zhàn)。

聯(lián)系作者

文章來(lái)源：AI前線
作者微信：
作者簡(jiǎn)介：面向AI愛(ài)好者、開(kāi)發(fā)者和科學(xué)家，提供大模型最新資訊、AI技術(shù)分享干貨、一線業(yè)界實(shí)踐案例，助你全面擁抱AIGC。