AIGC動態(tài)歡迎閱讀

原標(biāo)題：頂會審稿人緊缺，我審我自己！ICML 2023排序?qū)嶒灲Y(jié)果出爐：作者自評能提升評審質(zhì)量嗎？
關(guān)鍵字：審稿人,評分,論文,誤差,作者
文章來源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報道編輯：LRST
【新智元導(dǎo)讀】賓夕法尼亞大學(xué)蘇煒杰教授團隊在ICML 2023會議中進行實驗顯示，經(jīng)過作者自評校準(zhǔn)后，審稿分?jǐn)?shù)的誤差降低超過20%。近年來，以ICLR、NeurIPS、ICML等為代表的機器學(xué)習(xí)會議投稿量式增長。在短短6年間，ICML的投稿量翻了四倍。
這給現(xiàn)有的同行評審（Peer Review）制度帶來巨大壓力。每位審稿人被要求在短時間內(nèi)閱讀大量文章并給出審稿意見，做出「生死判決」。隨著ChatGPT的出現(xiàn)，大量審稿意見甚至直接由AI生成。
這導(dǎo)致了同行評審質(zhì)量的嚴(yán)重下降。最優(yōu)秀的論文被拒，而較差的論文反而被接收。對于眾多機器學(xué)習(xí)和人工智能領(lǐng)域的從業(yè)者來說，這種現(xiàn)象已經(jīng)司空見慣。審稿質(zhì)量太差已經(jīng)逐漸成為每次頂級會議后必談的主題。這是因為一個有經(jīng)驗的審稿人往往需要多年的培養(yǎng)。在面對大量投稿時，優(yōu)質(zhì)審稿人早已成為「稀缺資源」。由于增加優(yōu)質(zhì)審稿人或給每位分配更多的論文是不現(xiàn)實的，我們或許可以要求投稿作者提供信息來協(xié)助會議決策。
在此背景下，賓夕法尼亞大學(xué)統(tǒng)計系和計算機系的蘇煒杰教授團隊提出了一種創(chuàng)新的審稿方法：「我審我自己」。論文鏈接：https://arx

原文鏈接：頂會審稿人緊缺，我審我自己！ICML 2023排序?qū)嶒灲Y(jié)果出爐：作者自評能提升評審質(zhì)量嗎？

聯(lián)系作者

文章來源：新智元
作者微信：
作者簡介：