a16z華裔合伙人Jennifer Li：小模型+端側AI將定義2025

小模型會越來越流行。

原標題：a16z華裔合伙人Jennifer Li：小模型+端側AI將定義2025
文章來源：Founder Park
內容字數：5919字

a16z合伙人Jennifer Li預測：小型設備端生成式AI模型將在2024年崛起

本文總結了a16z合伙人Jennifer Li在The a16z Podcast中關于生成式AI的最新見解，重點關注設備端運行的小型模型的未來重要性。

1. 小型設備端生成式AI模型的興起

   Jennifer Li預測，在設備端運行的小型生成式AI模型將在2024年變得更受歡迎。她認為，類似于Uber、Instacart等應用中已廣泛使用的傳統機器學習模型，生成圖像、語音、視頻的生成式模型也將逐漸在設備端普及。

2. 智能手機算力與模型效率的提升

   針對小型模型如何在算力有限的智能手機上運行的問題，Jennifer Li指出，智能手機的算力已顯著提升，足以運行數十億參數規模的模型。此外，模型蒸餾技術可以將大型模型壓縮成更小、更高效的模型，同時保留其大部分功能。這使得在設備端運行生成式AI模型成為可能。

3. 設備端運行模型的優勢

   在設備端運行模型具有諸多優勢：首先，它能顯著提升用戶體驗，提供實時、高性能、流暢的應用響應，避免了云端處理帶來的延遲；其次，它優化了算力資源利用，減少了對云端服務器的依賴；最后，它增強了用戶數據隱私保護，因為數據處理在本地進行。

4. 設備端AI模型的應用場景

   Jennifer Li預測，實時語音助手將成為設備端AI模型的重要應用場景。此外，它還將增強AR體驗，例如利用攝像頭和生成式AI創造新的現實互動方式。她還提到，一些應用已經開始使用設備端模型，例如在Instagram或TikTok上添加濾鏡。

5. 經濟模式的轉變

   雖然設備端運行模型可能會降低部分云端推理成本，但Jennifer Li認為它并不會大幅降低應用的基礎設施成本。然而，它會改變開發者的效率和迭代速度，并影響整個工具鏈的構建和組織方式。她建議開發者采用混合模式（云端和設備端同時部署），以充分利用兩者的優勢。

6. 受益者及未來趨勢

   Jennifer Li認為，芯片制造商、設備制造商和模型開發者都將從設備端模型的興起中受益。未來，混合現實（MR）領域將成為設備端生成式AI模型的重要應用場景，為用戶帶來更具創造性的現實體驗。她對這一趨勢感到非常樂觀。

總而言之，Jennifer Li對設備端小型生成式AI模型的未來發展充滿信心，認為它將帶來用戶體驗的顯著提升、經濟模式的轉變以及新的應用場景的出現。

聯系作者

文章來源：Founder Park
作者微信：
作者簡介：來自極客公園，專注與科技創業者聊「真問題」。