AIGC動態歡迎閱讀

原標題：愛丁堡大學出新招，大小語言模型配合節約成本！
關鍵字：模型,報告,性能,成本,任務
文章來源：夕小瑤科技說
內容字數：5905字

內容摘要：

夕小瑤科技說 原創作者 | 墨墨在大語言模型的應用中，往往面臨著成本和性能權衡的問題。
一方面，大型LLM的參數量極大（如70B），每次調用都可能帶來更多的成本，而小型LLM（如7B）的成本則更容易被接受。
另一方面，更大的參數量明顯帶來了更好的性能。
魚與熊掌真的不可得兼嗎？
愛丁堡大學的研究者帶來了全新的大小模型協同方案，不需要額外訓練任何輔助模型，即可取得非常優秀的效果！
實驗表明，在27個實驗設置中，這一方法可以其中25個優于現有主流協同方法。
讓我們來看看他們的思路吧~
論文標題Optimising Calls to Large Language Models with Uncertainty Based Two-Tier Selection
論文鏈接https://arxiv.org/pdf/2405.02134.pdf
現有主流方法介紹首先，研究者介紹了現有大小模型協同方案的兩種主流思路。
假設我們有兩個LLM，其中大型LLM比小型LLM更昂貴，但性能更好。為了讓它們協同工作，方案包括：
（1）路由（Routing）（下圖左）：通過用戶傳入的查詢，來選擇最合適的LLM（即

原文鏈接：愛丁堡大學出新招，大小語言模型配合節約成本！

聯系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業、有趣、深度價值導向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內外機構投資人，互聯網大廠中高管和AI公司創始人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備敏銳的行業嗅覺和洞察深度。商務合作：zym5189