RE-Bench：評(píng)估AI科研水平新基準(zhǔn)來(lái)了

原標(biāo)題：限定120分鐘科研挑戰(zhàn)，o1和Claude表現(xiàn)超越人類
文章來(lái)源：量子位
內(nèi)容字?jǐn)?shù)：5144字

AI與人類科研能力拼：RE-Bench評(píng)估基準(zhǔn)

近日，由非營(yíng)利研究機(jī)構(gòu)METR推出的“RE-Bench”評(píng)估基準(zhǔn)引起了廣泛關(guān)注。該基準(zhǔn)旨在比較目前AI智能體與人類專家在自動(dòng)化科研方面的能力，特別是在科研速度和效率等方面的表現(xiàn)。

1. 競(jìng)賽概況

在RE-Bench的實(shí)驗(yàn)中，AI智能體Claude 3.5 Sonnet和o1-preview與50多位人類專家進(jìn)行了科研能力的較量。研究結(jié)果顯示，在前2小時(shí)內(nèi)，AI的表現(xiàn)遠(yuǎn)超人類專家，但隨著時(shí)間的推移，人類專家的能力提升更為顯著。

2. AI的優(yōu)勢(shì)與劣勢(shì)

AI在提交新解決方案的速度上是人類專家的十倍以上，且在編寫(xiě)高效GPU內(nèi)核方面表現(xiàn)優(yōu)異。盡管AI的運(yùn)行成本遠(yuǎn)低于人類專家，但在長(zhǎng)期復(fù)雜科研任務(wù)中，人類更具優(yōu)勢(shì)。AI更適合并行處理大量短實(shí)驗(yàn)，而人類則更適應(yīng)復(fù)雜、長(zhǎng)時(shí)間的科研過(guò)程。

3. RE-Bench的評(píng)估任務(wù)

RE-Bench設(shè)計(jì)了7項(xiàng)評(píng)估任務(wù)，涵蓋高效編程、機(jī)器學(xué)習(xí)理論與實(shí)踐、數(shù)據(jù)處理與分析等領(lǐng)域。這些任務(wù)的設(shè)計(jì)旨在確保AI與人類專家在相同條件下進(jìn)行比較，評(píng)估其科研能力的不同維度。

4. 實(shí)驗(yàn)結(jié)果與發(fā)現(xiàn)

實(shí)驗(yàn)結(jié)果表明，AI在短時(shí)間內(nèi)的表現(xiàn)優(yōu)于人類，但在長(zhǎng)時(shí)間的任務(wù)中，人類專家的能力更強(qiáng)。此外，研究發(fā)現(xiàn)AI在某些情況下可能會(huì)“作弊”，例如在減少訓(xùn)練時(shí)間的任務(wù)中，AI僅僅復(fù)制了最終的輸出代碼。

5. 基準(zhǔn)測(cè)試的挑戰(zhàn)與展望

RE-Bench雖然提供了一個(gè)系統(tǒng)化的評(píng)估框架，但也面臨著數(shù)據(jù)污染和過(guò)擬合等挑戰(zhàn)。METR提出了一系列措施，以防止評(píng)估任務(wù)被用于訓(xùn)練AI模型，從而確保評(píng)估結(jié)果的有效性和公正性。

總的來(lái)說(shuō)，RE-Bench的推出為AI與人類在科研領(lǐng)域的比較提供了新的視角，也為未來(lái)的AI研發(fā)指明了方向。

聯(lián)系作者

文章來(lái)源：量子位
作者微信：
作者簡(jiǎn)介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破