標簽：專家

混合專家模型（MoE）成為最近關注的熱點。 先是 Reddit 上一篇關于 GPT-4 結構的猜測帖，暗示了 GPT-4 可能是由 16 個子模塊組成的專家模型（MoE）的混合體。...

新智元報道編輯：編輯部【新智元導讀】前幾日，一條MoE的磁力鏈接引爆AI圈。剛剛出爐的基準測試中，8*7B的小模型直接碾壓了Llama 2 70B！網友直呼這是初創公...

新智元報道編輯：編輯部【新智元導讀】上周末，Mistral甩出的開源MoE大模型，震驚了整個開源社區。MoE究竟是什么？它又是如何提升了大語言模型的性能？Mistra...

機器之心報道機器之心編輯部「高端」的開源，往往采用最樸素的發布方式。昨天，Mistral AI 在 X 平臺甩出一條磁力鏈接，宣布了新的開源動作。沒有長篇官方博...

夢晨 發自 凹非寺量子位 | 公眾號 QbitAI“取消今晚所有計劃！”，許多AI開發者決定不睡了。只因首個開源MoE大模型剛剛由Mistral AI發布。MoE架構全稱專家混合...

Agent出現后，人機交互會發生變化。11月30日至12月1日，由中國科技產業智庫「甲子光年」主辦的「致追風趕月的你」2023甲子引力年終盛典在北京順利舉行！百余...

只需要幾分鐘，就可以成功模仿專家行為，并記住所有學過的知識，Google DeepMind 研發的 AI Agent，登上了 Nature 子刊。據介紹，在 3D 模擬中，該智能體能夠...

北大前沿計算研究中心 投稿量子位 | 公眾號 QbitAI北京大學董豪團隊具身導航最新成果來了：無需額外建圖和訓練，只需說出導航指令，如：Walk forward across ...

新智元報道編輯：好困【新智元導讀】最近，來自ISTA的研究人員提出了一種全新的模型量化方法QMoE，可以將1.6萬億個參數的SwitchTransformer壓縮到160GB以下（...

機器之心報道編輯：Panda W微調無需更新全部模型參數，這種方法只需更新不到 1% 的參數。眾所周知，大模型的訓練成本很高，但其實對預訓練后的模型進行微調也...