成本直降90%、延遲縮短80%！Anthropic將API玩出了新花樣，網(wǎng)友：應(yīng)該成為行業(yè)標(biāo)配

AIGC動態(tài)歡迎閱讀

原標(biāo)題：成本直降90%、延遲縮短80%！Anthropic將API玩出了新花樣，網(wǎng)友：應(yīng)該成為行業(yè)標(biāo)配
關(guān)鍵字：緩存,小米,提示,華為,字節(jié)跳動
文章來源：AI前線
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

編譯 | 核子可樂、Tina
Anthropic 在其 API 上引入了新的提示詞緩存機制，可將長提示的成本降低多達 90%，并將延遲降低 80%。
提示詞緩存功能能夠記住 API 調(diào)用之間的上下文，并幫助開發(fā)人員避免輸入重復(fù)提示內(nèi)容。目前該功能已經(jīng)在 Claude 3.5 Sonnet 以及 Claude 3 Haiku 當(dāng)中以 beta 測試版的形式開放，但對 Claude 旗下最大模型 Opus 的支持仍未交付。
提示詞緩存的概念源自 2023 年的研究論文，其允許用戶在會話中保留常用的上下文。由于模型能夠記住這些提示詞，因此用戶可以添加額外的背景信息而不必重復(fù)承擔(dān)成本。這一點對于需要在提示詞中發(fā)送大量上下文，并在與模型的不同對話中多次引用的使用場景非常重要。它還允許開發(fā)人員及其他用戶更好地對模型響應(yīng)作出微調(diào)。
Anthropic 表示，早期用戶“已經(jīng)在多種用例中觀察到，使用提示詞緩存后速度及成本都出現(xiàn)了顯著改善——測試范圍從完整知識庫到 100 個樣本示例，再到在提示詞中包含對話的每個輪次。”
該公司表示，提示詞緩存的潛在效果包括降低對話智能體在處理長指令及上傳文檔時的成本和

原文鏈接：成本直降90%、延遲縮短80%！Anthropic將API玩出了新花樣，網(wǎng)友：應(yīng)該成為行業(yè)標(biāo)配

聯(lián)系作者

文章來源：AI前線
作者微信：
作者簡介：