由密歇根州立大學天文學家領(lǐng)導的一組科學家發(fā)現(xiàn),一種新的評估擬議中的科研項目的方法與傳統(tǒng)的同行評審方法一樣有效,即使不是更多。
通常,當研究人員提交提案時,資助機構(gòu)會要求該領(lǐng)域的許多研究人員評估并提出資助建議。有時可能會有點笨重和緩慢的系統(tǒng)-并不是一門精確的科學。
密西根州立大學物理與天文學系,計算數(shù)學,科學與工程系的助理教授沃爾夫?qū)?middot;科曾多夫(Wolfgang Kerzendorf)說:“與所有人類努力一樣,它也有缺陷。”
在出版物《自然天文學》中進行了詳細介紹,Kerzendorf及其同事測試了一種新的系統(tǒng),該系統(tǒng)可在提議者之間分配審查項目提議的工作量,這種方法稱為“分布式同行審查”方法。
但是,該團隊通過使用其他兩個新穎的功能對其進行了增強:使用機器學習使評論者與提案匹配,并在評論中包含反饋機制。
本質(zhì)上,此過程包含旨在改善同行評審過程的三個不同功能。
首先,當科學家提交評估建議時,首先要求他(她)審閱其競爭對手的幾篇論文,這是一種減少要求他人審閱的論文數(shù)量的方法。
Kerzendorf說:“如果您減少每個人必須進行的評論的數(shù)量,他們可能會花更多的時間來處理每個建議。”
其次,通過使用計算機(機器學習),供資機構(gòu)可以使審稿人與他們是專家的領(lǐng)域的建議相匹配。此過程可以消除人為因素的偏見,從而使審核更為準確。
Kerzendorf說:“我們實質(zhì)上是看潛在讀者寫的論文,然后向這些人提供他們可能擅長判斷的建議。”“計算機代替了審閱者自我報告他們的專業(yè)知識,而是完成了工作。”
第三,團隊引入了反饋系統(tǒng),提交提案的人可以判斷收到的反饋是否有幫助。最終,這可能有助于社區(qū)獎勵一直以來提出建設性批評的科學家。
Kerzendorf說:“這一過程并不重要。”“良好的,建設性的審核會帶來一些好處,這是對您審核其他提案所做工作的一種獎勵。”
為了進行實驗,Kerzendorf和他的團隊考慮了172個提交的建議,每個建議都要求在德國南部的16國陸基天文臺歐洲南方天文臺使用望遠鏡。
以傳統(tǒng)方式和使用分布式同行評審的方式對提案進行了評審。結(jié)果?從統(tǒng)計的角度看,這似乎是無法區(qū)分的
但是,Kerzendorf說,這是一個新穎的實驗,測試了一種評估同行評審研究的新方法,這可能會在科學界帶來改變。
他說:“雖然我們非常認真地考慮科學,但有時我們并沒有花時間認真地思考改進科學資源分配的過程。”“這是一種嘗試。”