近日，關于“預注冊”（Pre-registered）的研究方式在Reddit論壇上引發了熱烈討論。“預注冊”是先向期刊提交理論研究和實驗設計方案，在評審并接受后，再展開進一步工作的一種方式。Reddit用戶呼吁在機器學習領域中也采用這種方式，引發了網友們的熱議。

所謂“預注冊”研究，通俗點說就是，在實際著手開始研究之前，先將研究假設和實驗設計方案等前期重要信息，向欲投稿的學術期刊進行事先注冊，由期刊先行組織專家進行同行評議。

如果評議通過，則期刊一般原則性承諾同意發表。然后再進入正式研究和論文撰寫、投稿等后續環節。

顯然，這一方式與現行的研究和論文發表流程有很大不同。

英國卡迪夫大學的研究人員特別對“預注冊”制度及其影響做了首次分析研究。

研究結果表明，采用這種模式，最終產生無效結果（即研究結果無法證明假設）的情形會大大增高，尤其是在心理學領域。這表明“預注冊”制度對一些“削足適履”的假結果起到了明顯的過濾作用。

傳統研究流程中，研究人員為了獲得“優質結果”，易產生發表偏見、p值作弊、可重復性低的嚴重問題

于是，Reddit上今天也掀起機器學習論文也要實行“預注冊”的大討論。

預注冊有多好？能夠避免“發表偏見”

研究人員指出，在傳統的提出假設——設計實驗——驗證結果——投稿發表的研究流程中，研究人員容易為獲得正面結果而產生“發表偏見”，可能會對不利于證明研究假設的結論有意隱瞞，甚至對數據進行篡改等造假作弊手段。

他們認為，在進行研究之前記錄下研究假設和實驗方案，確實可以取得預期的結果，能夠減少為獲得正面結果而產生的“發表偏見”。

日前，《Nature》網站也撰文稱，“預注冊”制度確實可以起到預期的“去偽存真”的作用，提高科學研究的可信度和可重復性。

在開始收集數據之前，先將研究方案進行登記和記錄，可能會改變研究結果。圖片來源：Ariana Lindquist / Bloomberg / Getty

文中提到，沒有獲得正面結果的研究往往被歸檔，從此不見天日，這會導致為獲取正面結果而產生的“發表偏見”，損害科學文獻的可信度。

現有分析表明，在進行研究之前，對研究方案進行登記和同行評議，可以改善這個問題，并有助于糾正為獲取正面結果而產生的發表偏見問題。

來自英國卡迪夫大學的研究人員稱，他們的這一研究是對“預注冊”研究方式是否有效的第一次分析。結果發現，事先將研究方案進行登記的研究更有可能報告無效的結果。該分析于10月17日發表在PsyArXiv資源庫上。

預注冊去偽存真：真的能提高研究結果質量

在“預注冊”制度下，研究人員需要在研究開始前就向相應期刊提交研究方案。如果研究方案通過了同行評議，該期刊會暫時承諾在研究完成時將論文發表，無論研究結果如何。

這種做法在過去幾年中已經開始在科學界出現，這一制度起源于美國法律強制要求的臨床試驗中的“預登記”制度。目前約有140種期刊使用這種方式，有130份進行預注冊的研究報告，其最終研究結果已經發表。

“預注冊”制度的支持者希望，該方式能夠打擊那些可疑的研究活動，比如先看結果，或根本不報告負面結果，然后再回頭提出研究假設。

為了考察“預注冊”方式是否會增加研究報告無效結果的頻率，心理學家Chris Allen和David Mehler分析了生物醫學和心理學中113份預登記報告的結果。

在這些研究中，他們考察了296個彼此獨立的研究假設，結果發現，總體而言，這些研究后來發表的結果中，有61%不支持最初的假設。對于考察可重復性研究的驗證研究，這個數字比例要更高一些，為66％，對于原始研究，這一比例為55％。

來源：PsyArXiv，https://psyarxiv.com/3czyt(2018）。

這些數字遠遠高于一般科學文獻中提出的無效結果的比例，以前的研究表明，研究人員估計該比例在5％到20％之間。

預注冊報告的數量呈指數級增長，但研究的代表性還有待提升

不過，荷蘭埃因霍溫科技大學的心理學研究人員Anne Scheel表示，這項研究可能仍然低估了無效研究結果的真實比例。

據其他研究估計，在心理學中測試中的假設實際上為假的比例可能高達90％，Scheel說。這表明當前科學文獻中的實際上的無效結果“與我們期望中不存在任何發表偏見的情況”大不相同。

她表示，這一分析是探索性的，而且研究結果也可以有其他解釋。

比如Scheel說，由于采用“預注冊”可以或多或少地保證論文發表，人們可能會策略性地使用這種制度，提出一些預期可能無法通過驗證的研究假設。

她補充說，“預注冊”制度誕生不久，有可能迄今為止發表的研究并不能更廣泛地代表心理學領域的情況。 “目前還有很多未知因素，”Scheel說。 “但對于科學家來說，這也是一個非常激動人心的時刻。”

目前，預注冊報告的數量正呈指數級增長，Allen現在希望能夠進行樣本量更大的另一項研究，以便回答之前研究提出的一些問題，而且計劃將這項研究也進行“預注冊”。

Reddit呼吁ML中采用“預注冊”：無效結果會比其他領域有用得多

Reddit上便有位用戶拋出了一個討論：

若是能在機器學習領域中召開預登記實驗的會議/期刊就好了。你只要提交理論部分的論文以及實驗的設計，然后讓評審們進行評估，若是他們覺得OK，你再繼續做實驗。而且，無論實驗結果如何，這篇論文都算是被接受了。

此貼一出，便得到了眾多網友的圍觀與評論，網友Flag_Red評論到：

目前很多機器學習的研究都屬于工程學，我覺得在這種情況下，無效結果會比其他領域有用得多。我認為這主要歸結于機器學習在工程方面要比理論方面超前很多。

在其他領域中，他們會說：“這是我的假設”，然后再對其進行測試。若結果無效，仍然是一件非常有意思的事情，“我的假設”本應該有效，卻不知什么原因變得無效了。

然而，在機器學習中，幾乎沒有人在測試假設之前就說，“我認為這將會因為某某原因而起作用”。許多的發現都是來自簡單的實驗。

如果我們能在ML學術界培養一種更傳統的科學文化，那么發表無效結果論文數的增加，也未嘗不是一件好事。但就目前的狀況而言，我認為并不會有多大幫助。

另一位網友表示：

這可能為時過早。無效結果在物理學領域中非常有用，并且具有完善的理論框架。

現在大多數的深度學習是由研究生根據直覺和實證結果結合在一起的。 無效結果可能是一個很好的啟發式方法，但如果沒有一個堅實的理論框架，這個假設期刊中的信噪比會非常高。

當然，這甚至還沒有解決大規模超參數搜索和隨機初始化的問題，我認為這才是真正的問題。你的方法失敗是因為你的原始概念不健全，還是因為你無法找到超參數和/或隨機初始化的正確組合呢?

那么對于在機器學習領域也采用“預注冊”制度，你怎么看呢？