AI Infra 格局呈現兩個極端：海外被巨頭壟斷，而國內則過于分散。

原標題：當大模型升級速度變緩，AI Infra 還是一門「好生意」嗎？
文章來源：智猩猩GenAI
內容字數：11155字

2024中國生成式AI大會即將召開

2024中國生成式AI大會將于12月5-6日在上海舉辦，屆時將有20多位嘉賓參與演講。嘉賓包括來自上海交大的副教授戴國浩、GMI Cloud亞太區總裁King.Cui等知名業內人士，討論AI基礎設施（AI Infra）的現狀與未來發展。

國內AI Infra市場現狀

目前，國內AI Infra市場呈現出分散化的特點，與海外市場的巨頭壟斷形成鮮明對比。清華系在中國大模型創業中占據重要地位，多個創企如清昴智能、無問芯穹等均來自清華實驗室。當前的創業重點在于將各類模型與芯片進行深度適配，以減少算力資源閑置并降低成本。

推理成本與MaaS平臺挑戰

推理成本的降低是大模型應用落地的關鍵。盡管創業公司紛紛布局MaaS（模型即服務）平臺，但行業內對這一模式存在分歧。一些創業者擔心與大型大模型公司競爭的壓力，認為不做優質大模型將難以在推理平臺上立足。

端側推理的未來

隨著需求的增長，端側大模型推理處理器的開發逐漸受到關注。無問芯穹計劃推出端側大模型推理處理器，預計將在明年實現落地。這表明，端側硬件在未來將扮演重要角色。

國內外市場的不同挑戰

中美市場的差異使得創業的難度不同。雖然海外市場相對成熟，但也因巨頭的存在而導致必要性不強。國內芯片廠商則處于分散狀態，面臨技術統一和生態建設的挑戰。

未來展望與結論

隨著AI Infra創業的不斷探索，業內觀點碰撞加劇。無論是MaaS平臺的競爭，還是異構混訓的可行性，各家企業都在努力尋找商機。總體來看，AI Infra的重要性日益凸顯，國產算力問題仍是未來發展的關鍵。

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下矩陣賬號之一，聚焦大模型開啟的通用人工智能浪潮。