我處理了 5 億 GPT tokens 后：langchain、RAG 等都沒什么用

AIGC動態歡迎閱讀

原標題：我處理了 5 億 GPT tokens 后：langchain、RAG 等都沒什么用
關鍵字：元宇宙,報告,模型,提示,上下文
文章來源：AI前線
內容字數：10763字

內容摘要：

作者 | KEN KANTZER
譯者 | 平川
策劃 | 褚杏娟
本文最初發布于 KEN KANTZER 的個人博客。
在過去的六個月里，我的創業公司 Truss（gettruss.io）發布了多項倚重 LLM 的功能，而我在 Hacker News 上讀到的關于 LLM 的故事現在已經和我的實際情況脫節了，所以我想在處理過 5 億多（我估計）tokens 之后，分享一些更“令人驚訝”的經驗教訓。
本文要點：
我們正在使用 OpenAI 模型，如果你想知道我對其他模型的看法，請閱讀底部的問答部分。
在我們的用例中，GPT-4 占 85%，GPT-3.5 占 15%。
我們專門處理文本，因此不涉及 GPT-4-vision、Sora、whisper 等。
我們有一個 B2B 用例——重點是匯總 / 分析 – 提取，你的情況可能有所不同。
5 億 tokens 其實并不像想象的那多，也就大概 75 萬頁文本，要正確看待。對于提示，少即是多我們發現，不要在提示中給出確切的列表或指令——如果這些東西已經是常識的話，這樣可以獲得更好的結果。GPT 并不愚蠢，你提供的細節過多，反而會讓它混亂。

原文鏈接：我處理了 5 億 GPT tokens 后：langchain、RAG 等都沒什么用

聯系作者

文章來源：AI前線
作者微信：ai-front
作者簡介：面向AI愛好者、開發者和科學家，提供大模型最新資訊、AI技術分享干貨、一線業界實踐案例，助你全面擁抱AIGC。