關鍵拐點即將到來。

原標題：PPIO CEO姚欣：AI應用即將迎來免費時代｜甲子引力
文章來源：甲子光年
內(nèi)容字數(shù)：10461字

PPIO派歐云CEO姚欣：AI推理成本下降將引爆應用免費時代

本文總結了PPIO派歐云CEO姚欣在“萬千流變，一如既往”2024甲子引力年終盛典上的演講要點，核心觀點是：AI推理成本的快速下降將成為關鍵拐點，引領AI應用進入免費時代。

1. 算力過剩與需求變遷

姚欣指出，當前AI領域面臨供需兩側的挑戰(zhàn)。供給側，智算中心建設熱潮后，利用率偏低，面臨“算力過剩”風險，類似于幾年前IDC數(shù)據(jù)中心的經(jīng)歷。需求側，經(jīng)歷了2023年上半年的大模型創(chuàng)業(yè)熱潮后，熱度降溫，大模型正從To VC階段轉向To B落地階段，未來將走向To C階段。當前制約AI應用爆發(fā)的關鍵在于高昂的推理成本。

2. 推理成本優(yōu)化策略

姚欣認為，推理成本優(yōu)化主要從三個方面入手：

1. 硬件降本：充分利用現(xiàn)有硬件資源，例如“梯次利用”已完成成本攤銷的“老卡”（如A100）進行推理任務，以及尋找更便宜的電力資源等。
2. 算力調(diào)度：根據(jù)推理需求的波峰波谷效應，優(yōu)化資源配置，避免資源浪費。這需要借助人工智能和機器學習技術進行需求預測和智能調(diào)度。
3. 推理加速：采用一系列技術手段，例如有損和無損優(yōu)化，提升推理效率，克服GPU架構在推理任務中的瓶頸。

3. PPIO派歐云的實踐與成果

PPIO派歐云通過在全國各地部署大量計算節(jié)點，整合各類算力資源，并結合先進的算力調(diào)度和推理加速技術，顯著降低了推理成本。例如，一個典型的8B模型，百萬token的費用從今年4月的0.1美元下降到11月的4分錢，預計明年4月將進一步下降至當時的1/10。 這使得PPIO派歐云能夠為客戶提供高性價比的服務，并幫助客戶實現(xiàn)業(yè)務增長，例如幫助小說推文APP降低70%的推理成本并提升5倍生圖速度，以及幫助全球Top10招聘網(wǎng)站減少人力需求。

4. AI應用的免費時代即將到來

姚欣預測，2025-2026年是AI的轉折年。隨著AI推理成本每年近十倍的下降，關鍵拐點即將到來：通過免費廣告模式，AI應用的收入將足以覆蓋推理成本。這將推動AI應用進入“免費時代”，引爆C端市場，帶來巨大的流量增長和行業(yè)變革。

聯(lián)系作者

文章來源：甲子光年
作者微信：
作者簡介：甲子光年是一家科技智庫，包含智庫、社群、企業(yè)服務版塊，立足中國科技創(chuàng)新前沿陣地，動態(tài)跟蹤頭部科技企業(yè)發(fā)展和傳統(tǒng)產(chǎn)業(yè)技術升級案例，推動人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)、云計算、新能源、新材料、信息安全、大健康等科技創(chuàng)新在產(chǎn)業(yè)中的應用與落地。