河套IT TALK 27：同行評審的歷史與未來

同行評審是由一個或多個與文章（當然也可能是代碼等其他情況）的撰寫者具有相似能力的人（同行）對文章進行的評價。它作為相關(guān)領(lǐng)域內(nèi)合格專業(yè)人士的一種自我監(jiān)管形式發(fā)揮作用。同行評審方法用于維持質(zhì)量標準、提高性能和提供可信度。在學(xué)術(shù)界，學(xué)術(shù)同行評審?fù)ǔＳ糜诖_定學(xué)術(shù)論文是否適合發(fā)表。在技術(shù)公司，同行評審?fù)ㄟ^作為過程文檔是否適合基線歸檔發(fā)布的前置條件。

長期以來，同行評審是學(xué)術(shù)出版和文檔基線不可或缺的一環(huán)，也是受到科技界高度認可的一種文化和最佳實踐。有調(diào)查顯示，絕大多數(shù)人(85%)同意 “同行評審極大地幫助科技交流”，甚至更多人(約90%)表示他們自己最近寫的文章通過同行評審得到了改進。但事情真的都是這樣嗎？

隨著科學(xué)競爭日漸激烈、需要審核的文章數(shù)量暴增，傳統(tǒng)同行評審在科技界也暴露了很多的問題。在傳統(tǒng)的期刊同行評審過程中，審稿人對除期刊編輯以外的任何人保持匿名，而作者姓名從一開始就被公開。也就是說，作者是不知道自己文章的評審意見是被誰提的。但是審稿人都知道作者是誰。大家發(fā)現(xiàn)問題沒有？這里面存在審稿人打黑槍的機會。所以近些年，對它的爭議越來越明顯，基本上分為以下幾種爭議：

1. 同行評審會出現(xiàn)對創(chuàng)新思想感知層面對同質(zhì)化趨勢。也就是說，傳統(tǒng)想法的審稿人往往會給創(chuàng)新的文章或者觀點打低分，而創(chuàng)新想法的審稿人往往會給創(chuàng)新文章或者觀點打高分。但情況基本上都是前者居多。大部分評審者都不會垂青爭議性很大的文章。很多重大會議的投稿接受率很低，有些甚至不到10%，而往往是這樣，很多標新立異的文章和觀點因為同行評審而被事先淘汰掉了。

2. 審稿人往往無法做到對文章和觀點的完全仔細地審核，更不要說投入和撰稿人一樣的精力了。這種狀況往往導(dǎo)致對很多文章理解表面化，提出的評審意見也多隨意性。甚至，很多時候，審稿人的專業(yè)性還遠遠低于撰稿人的水平。

3. 很多審稿人的評論非?？瘫?。一項基于同行評審意見庫的研究發(fā)現(xiàn)，通常認為審稿人評論的本應(yīng)該是數(shù)據(jù)、論證、研究方法等等，對事不對人，然而殘酷的現(xiàn)實情況是審稿人對撰稿人個人能力的批評占到了評審意見的24.5%。近乎人身攻擊的批評在同行評審里并不少見。辛辛苦苦寫出的文章和做出的研究工作收到這樣的侮辱性評價，撰稿人感覺 “泄氣、被貶低和惱怒” 也是顯而易見的。一項研究調(diào)查了來自46個國家和14個學(xué)科的1106名科學(xué)家。超過一半的受訪者報告說至少收到了一次 “不專業(yè)” 的評論，其中大多數(shù)人表示他們收到了多條類似問題的評論。從結(jié)果上看，這些刻薄評論會傷害到科技人員的產(chǎn)出，尤其是更容易自我懷疑的弱勢群體。

4. 同行評議速度慢、效率低下。有調(diào)查發(fā)現(xiàn)，科研人員對同行評審最不滿的地方是評審周期太長。有67%受訪者如果能在30日內(nèi)接收到評審意見，會表示滿意，但如果延至3個月至6個月時，這個滿意比例會驟減到10%。

5. 撰稿人的妥協(xié)。在科技競爭日漸激烈的今天，如果一篇文章被拒被迫轉(zhuǎn)投其他期刊，不僅僅是延遲發(fā)表的事兒，而很可能因為過了保鮮期，必須放棄投稿。所以，一般而言，文章作者都會屈從大多數(shù)評審人的意見，而不管自己是否認可這些意見。結(jié)果往往一篇觀點鮮明的文章，經(jīng)過同行評審卻被改得面目全非，補充一堆不是很重要的信息和數(shù)據(jù)，讓文章變得繁瑣冗長。

那么同行評審有改進空間嗎？當然有，這里有兩種改進方向：一項改進是雙盲評審（Double-blinding），增加神秘感，撰稿人和審稿人雙方都不知道對方是誰。還有一項改進是開放同行評審（Open Peer Review），也就是增加同行評審的流程透明度。下面我們就分別說說這兩項改進。

雙盲同行評審意味著作者和審稿人的身份都被隱藏起來?？紤]到開黑槍的情況，所以假設(shè)如果審稿人不知道作者的身份，將防止審稿人形成任何偏見和利益沖突。理論上，雙盲法可以更公平地評估研究文章內(nèi)容和質(zhì)量。

雙盲法是在藥物科學(xué)實驗做對照比較時的標準程序。受試者不清楚自己到底服用的到底是潛在的藥物，還是安慰劑。評估者同樣不知道。這樣做法會將實驗偏差降到最低。

自 2015 年 3 月起，《自然》雜志為作者添加了選擇是否愿意保持匿名的選項。盡管這一改進同行評審的步驟應(yīng)該受到贊揚，但該過程是可選的這一事實可以說與目的背道而馳。它可能會導(dǎo)致知名度高的研究人員保留他們的姓名和隸屬關(guān)系，而審稿人可能會認為所有匿名手稿都來自不知名或低調(diào)的研究人員。

另外，審稿人如果是圈內(nèi)人，也很容易根據(jù)作者的論文描述和參考文獻找到線索推導(dǎo)出作者可能是誰。這就形成了一種虛假安全的陷阱。當審稿人根據(jù)論文內(nèi)容推斷出作者時，雙盲程序變成了單盲審查，這種黑槍打出來，審稿人還可以不知道作者是誰來加以推脫。這種情況下，防止偏見的保障消失了，雙盲過程的虛假安全成了一個陷阱，它反而鼓勵了本應(yīng)防止的偏見。

德國海德堡大學(xué)的岡瑟·艾森巴赫 ( Gunther Eysenbach ) 在1999年創(chuàng)建了一個網(wǎng)絡(luò)醫(yī)學(xué)和電子健康研究單位，并牽頭組織了世界醫(yī)學(xué)互聯(lián)網(wǎng)大會。他也同時搞了一個可以開放獲取的醫(yī)學(xué)互聯(lián)網(wǎng)研究雜志《Journal of Medical Internet Research》（簡稱JMIR），在這個期刊雜志中，他改革了同行評審的策略。從一開始就決定在每篇發(fā)表文章的底部公布審稿人姓名。這一做法，立即得到了《英國醫(yī)學(xué)雜志》的響應(yīng)，他們也轉(zhuǎn)向開放式同行評審，向作者而非讀者公開審稿人的身份。

2014年，由世界上期刊文章產(chǎn)量最大的出版商“多學(xué)科數(shù)字出版研究所”MDPI (Multidisciplinary Digital Publishing Institute)出版的《生命》（Life）雜志，提供了一種開放的同行評審系統(tǒng)。在該系統(tǒng)下，同行評審報告和作者的回復(fù)作為每篇文章最終版本的組成部分發(fā)表。

總結(jié)下來，開放同行評審基本用到了三種策略和手段：

1. 公開身份：作者和審稿人知道彼此的身份。揭開審稿人的神秘面紗，讓作者知道評審人是誰。

2. 公開評審報告：評審報告與相關(guān)文章一起發(fā)布（而不是保密），如果想人身攻擊作者，或者隨便寫評審意見的話，審稿人也要掂量掂量。黑槍會公示天下。

3. 開放參與：更廣泛的社區(qū)（而不僅僅是受邀的審閱者）能夠為審閱過程做出貢獻。這種方式可能會得到更多的專業(yè)意見，也會挖掘掃地僧之類的審稿高人。當然，這種方式假設(shè)的前提是作者要同意這篇文章在發(fā)表前已經(jīng)公示天下，對外公開了。不過這個開放參與，還有一個審稿人的篩選機制，也就是有限的對外公開。想做審稿人的話，必須先撰寫自己的簡歷和過往同行評審經(jīng)驗經(jīng)歷，以及自己的專業(yè)領(lǐng)域擅長及其證明等等，然后達到可以作為審稿人的水準的前提下，才能看到文章。

總體而言，公開審稿人身份，會讓評審流程透明化，審稿人比他們在之前匿名狀態(tài)評審時“更認真、誠實和更富建設(shè)性”，同時讓作者知道到底哪些人對他文章的觀點保持敵意或者持反對意見。

開放同行評審的唯一顯著負面影響是“增加了審稿人拒絕審稿的可能性”。一項對2010至2017年5種期刊上公開發(fā)布的同行評議意見的研究發(fā)現(xiàn)，只有8.1%的審稿人愿意在公開的評審報告上署上自己的姓名。當然評審意見發(fā)表也可以做到隱秘審稿人身份，或者多個審稿人評審意見進行整合，和文章一并發(fā)表。這些能做到某種程度的平衡。

2022年10月份，eLife發(fā)布了一種新的發(fā)布機制。所有經(jīng)過同行評審的文章和評審意見一起作為 “已評審預(yù)印本” （Reviewed Preprint）在eLife的網(wǎng)站上發(fā)布。而雜志社不再根據(jù)同行評審意見做出接受或者拒絕文章發(fā)表的決議。最后，甚至包括作者對這些評審意見的回應(yīng)，也作為發(fā)表的一部分。也就是說，作者才是發(fā)表還是不發(fā)表的，接受和不接受評審意見是否進行修訂的最終決定人。從 2023 年 1 月 31 日起，所有向 eLife 提交研究論文的作者都將遵循這一新流程。這個流程大致如下：

1.提交

作者提交論文后，會得到論文是否會被邀請進行下一步同行評審的回復(fù)。

2. 同行評審

論文將接受該領(lǐng)域?qū)＜业淖稍儗彶?，并收取出版費。然后，作者將收到 eLife 評估、公開評論和審稿人關(guān)于如何改進論文的機密建議。

3. 出版

作者的論文作為已評審預(yù)印本連同 eLife 評估和公眾評論一起發(fā)布在 eLife 的網(wǎng)站上。然后它是可引用的。eLife 評估反映了研究結(jié)果的重要性以及預(yù)印本中報告的證據(jù)強度。作者還可以繼續(xù)對評估和評論給予回應(yīng)。

4.作者修改

作者可以決定是否進行進一步修訂，以及是否以及何時重新提交。如果作者修改，eLife將發(fā)布一份新的已評審預(yù)印本 ，其中包含更新的評論和評估。

5.記錄版本

在同行評審之后的任何時候，作者都可以選擇將評審預(yù)印本作為“記錄版本”發(fā)布。在作者校對并符合期刊政策后，eLife 會將作者的論文發(fā)送到 PubMed （PubMed是一個免費的搜索引擎，主要訪問生命科學(xué)和生物醫(yī)學(xué)主題的參考資料和摘要的MEDLINE 數(shù)據(jù)庫。）上進行索引。

eLife的這種做法是否會成為一種新的期刊同行評審的新的規(guī)則呢？這個需要拭目以待。一個規(guī)則如果做得好，大家都會去擁抱它。但開放同行評審，由于評審記錄是公開發(fā)表的文字，所以可能會引發(fā)審稿人更為斟字酌句，無形中也會拉長評審的時間。

還有一種觀點認為，同行評審不是期刊問題的根結(jié)，最大的問題是以期刊為中心的學(xué)術(shù)出版制度：很多期刊被學(xué)術(shù)界看得過重，導(dǎo)致投稿過于集中，對所謂 “頂刊” 的崇拜越來越厲害。為了提高在“頂刊“上被接納評審?fù)ㄟ^的概率，投稿人也會鉆空子，他們會故意迎合期刊歷史上審稿人的觀點，而不去寫大膽創(chuàng)新的文章，這就不是簡單同行評審的改革本身能解決得了的了。