AIGC動態歡迎閱讀

原標題：大模型推理成本排行榜來了：賈揚清公司效率領跑
關鍵字：負載,模型,基準,吞吐量,人工智能
文章來源：機器之心
內容字數：4189字

內容摘要：

機器之心報道
編輯：小舟、澤南風投燒完之后，哪些大模型創業公司會開始盈利？
「大模型的 API 是個虧本買賣嗎？」隨著大語言模型技術的逐漸實用化，越來越多的科技公司提出了大模型 API 供開發者們使用。但前有 OpenAI「每天燒掉 70 萬美元」，我們也有理由懷疑以大模型為基礎的業務到底能不能持續。
本周四，AI 創業公司 Martian 為我們仔細盤算了一下。排行榜鏈接：https://leaderboard.withmartian.com/
The LLM Inference Provider Leaderboard 是一個開源的大模型 API 推理產品排行榜。對于每個供應商的 Mixtral-8x7B 和 Llama-2-70B-Chat 公共端點，該榜單對成本、速率限制、吞吐量和 TTFT 的 P50 和 P90 進行了基準測試。
雖然互為競爭關系，但 Martian 發現各家公司提供的大模型服務之間存在大于 5 倍的成本差異，大于 6 倍的吞吐量，甚至還存在更大的速率限制差異。雖然在不同性能的大模型之間進行選擇只是業務開展的一部分，但選擇不同的 API 對于獲得最佳性能顯然

原文鏈接：大模型推理成本排行榜來了：賈揚清公司效率領跑

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺