成本降低90%！Claude上新Gemini同款提示詞緩存，一次性記住整個(gè)代碼庫

AIGC動態(tài)歡迎閱讀

原標(biāo)題：成本降低90%！Claude上新Gemini同款提示詞緩存，一次性記住整個(gè)代碼庫
關(guān)鍵字：緩存,成本,提示,模型,美元
文章來源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

克雷西 發(fā)自 凹非寺量子位 | 公眾號 QbitAIClaude深夜上新重磅功能——API長文本緩存。
新版API可以“記住”一整本書或整個(gè)代碼庫，不需要再重復(fù)輸入了。
這樣一來，不僅處理長文本的延時(shí)更低，更是能節(jié)省最高90%的成本。
來看看這降本的效果~
△假定重復(fù)部分為1萬Token，模型為3.5 Sonnet，只計(jì)算輸入今年5月，谷歌在Gemini更新中提出了這項(xiàng)功能，然后是國內(nèi)的Kimi和DeepSeek團(tuán)隊(duì)，總之現(xiàn)在又輪到了Claude。
值得一提的是，廠商Anthropic的推文當(dāng)中提到，提示詞緩存功能可以讓用戶用更長、更有指導(dǎo)性的提示詞對模型進(jìn)行“微調(diào)”。
有網(wǎng)友看了之后感慨，人們本來就很難分清提示工程（prompting）和微調(diào)（fine-tune），這下更不好區(qū)分了。
當(dāng)然在這種場合下，也難免會有人點(diǎn)名或不點(diǎn)名地cue起隔壁的OpenAI。
成本節(jié)約高至90%提示詞緩存的作用，就是一次給模型發(fā)送大量prompt，然后讓它記住這些內(nèi)容，并在后續(xù)請求中直接復(fù)用，避免反復(fù)輸入。
對此，博主Dan Shipper做了這樣的一個(gè)比喻：
假設(shè)你在一家咖啡館，第一次點(diǎn)單的時(shí)候需要告

原文鏈接：成本降低90%！Claude上新Gemini同款提示詞緩存，一次性記住整個(gè)代碼庫

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：