從綜述、實驗到報告撰寫，一站式搞定

原標題：AMD把o1煉成了實驗室助手，自動科研經費節省84%
文章來源：量子位
內容字數：8593字

AMD科研AI“Agent Laboratory”：84%降低科研成本，o1-preview成天選打工人

AMD最新推出的科研AI系統“Agent Laboratory”，利用LLM (大語言模型) 一站式完成科學研究，從文獻綜述到實驗、報告撰寫，大幅降低科研成本。該系統在GPT-4o、o1-mini和o1-preview三個模型中，o1-preview表現最佳，生成的代碼性能達到SOTA。

1. Agent Laboratory工作流程

Agent Laboratory主要分為三個階段：文獻綜述、實驗、報告撰寫。每個階段都分配不同的AI Agent角色，例如PhD Student、Postdoc、ML Engineer等，協同完成任務。

1. 文獻綜述：PhD Student利用arXiv API檢索論文，提取摘要和全文，迭代式地構建文獻綜述。
2. 實驗：
   1. 計劃制定：PhD Student和Postdoc對話制定實驗計劃，包括實驗步驟、模型選擇、數據集選擇等。
   2. 數據準備：ML Engineer使用Python處理數據，利用HuggingFace數據集搜索所需資源。
   3. 運行實驗：ML Engineer使用mle-solver模塊運行實驗。mle-solver通過迭代優化代碼，并使用LLM獎勵模型評分，最終選擇性能最佳的代碼。
   4. 結果解釋：PhD Student和Postdoc共同分析實驗結果。
3. 報告撰寫：PhD Student和Professor利用paper-solver模塊撰寫報告，該模塊生成初始報告框架，并支持迭代編輯和論文評審。

2. 模型評估與人工審稿對比

研究人員使用GPT-4o、o1-mini和o1-preview三個模型完成15篇論文，并邀請人工審稿人進行評分。結果顯示，o1-preview在整體研究幫助上表現最佳，o1-mini的實驗質量得分最高，GPT-4o表現最差。人工審稿與自動審稿結果差異顯著，自動審稿傾向于高估論文分數。

3. 提升研究效果的技巧

作者在GitHub上分享了提升研究效果的技巧，包括撰寫詳細的筆記、使用更強大的模型以及利用檢查點恢復工作進度等。

4. 團隊成員背景

Agent Laboratory的研發團隊成員大部分為華人，他們在人工智能領域擁有豐富的經驗，來自DeepMind、微軟、谷歌、Meta等知名機構。

總而言之，Agent Laboratory通過AI驅動，實現了科研流程的自動化和高效化，顯著降低了科研成本，并展示了AI與人類協同的巨大潛力。該系統為未來科學研究提供了新的范例。

聯系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破