<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        大模型“取長補短”新思路入選NeurIPS'24,顯著優于現有路由方法,南科大港科大出品

        AIGC動態10個月前發布 量子位
        382 0 0

        大模型“取長補短”新思路入選NeurIPS'24,顯著優于現有路由方法,南科大港科大出品

        AIGC動態歡迎閱讀

        原標題:大模型“取長補短”新思路入選NeurIPS'24,顯著優于現有路由方法,南科大港科大出品
        關鍵字:樣本,準確率,對比,損失,高效
        文章來源:量子位
        內容字數:0字

        內容摘要:


        RouterDC團隊 投稿量子位 | 公眾號 QbitAI高效組合多個大模型“取長補短”新思路,被頂會NeurIPS 2024接收。
        名為RouterDC,是一種基于雙重對比學習的路由架構,具有參數高效性(小于100M的參數)和計算高效性(不需要對于LLM進行梯度回傳)的優勢。
        在具有挑戰性語言理解、代碼生成和數學推理等推理任務實驗中,RouterDC在分布內(+2.76%)和分布外(+1.90%)設定下,都遠超于現有的routing方法。
        眾所周知,LLM通常在不同數據集上預訓練和微調,導致它們在不同任務上的性能強弱不同。
        LLM路由則是一種組合多個LLM的新思路,它通過學習一個路由器(Router)來為每一個請求(query)選擇最合適的LLM。在推理時,LLM路由只需要調用所選的LLM進行推理,使其在保持計算高效性的同時利用多個LLM的互補能力。
        RouterDC這種新方法,包括一個較小的語言模型作為編碼器和一系列與候選LLM對應的可學習的LLM embeddings。
        對于訓練數據中的每個query,首先將候選LLM的預測與真實標簽進行比較獲得表現最好和最差的LLM,然后構造兩


        原文鏈接:大模型“取長補短”新思路入選NeurIPS'24,顯著優于現有路由方法,南科大港科大出品

        聯系作者

        文章來源:量子位
        作者微信:
        作者簡介:

        閱讀原文
        ? 版權聲明
        蟬鏡AI數字人

        相關文章

        蟬鏡AI數字人

        暫無評論

        暫無評論...
        主站蜘蛛池模板: 国产亚洲人成网站观看| 亚洲AV成人一区二区三区AV| 国产精品无码一二区免费| 中文亚洲AV片在线观看不卡| 亚洲午夜电影一区二区三区| 无人视频在线观看免费播放影院| 无码人妻精品中文字幕免费 | 久久丫精品国产亚洲av不卡 | 亚洲熟女一区二区三区| 亚洲区视频在线观看| 性xxxxx免费视频播放| 中文字幕亚洲专区| 亚洲熟妇无码一区二区三区导航| 国产免费爽爽视频在线观看| 亚洲福利在线播放| 亚洲色最新高清av网站| 日韩中文字幕免费| 亚洲成人网在线观看| 最近中文字幕大全免费版在线| 日本一道一区二区免费看| 色吊丝性永久免费看码| 在线看片免费不卡人成视频| 综合自拍亚洲综合图不卡区| 99热在线日韩精品免费| 亚洲成a人一区二区三区| 中文字幕免费在线观看动作大片 | 亚洲精品无码av人在线观看| 8x8x华人永久免费视频| 亚洲阿v天堂在线| 亚洲国产亚洲综合在线尤物| 日韩免费视频播播| 你是我的城池营垒免费观看完整版| 97se亚洲综合在线| 国产片免费福利片永久| 免费在线观影网站| 亚洲一久久久久久久久| 亚洲色WWW成人永久网址| 成年美女黄网站18禁免费| 亚洲an日韩专区在线| 免费福利在线播放| 久久亚洲精精品中文字幕|