最近心理學界做了令人敬佩的事。270位心理學家合作，重覆100項在三本頂級心理學期刊發表的實驗，結果只有36項結果跟原本實驗一致。
270位不是小數字，我寧願相信，他們的動機不是酸葡萄，更不是為報復而來。這批人盡了學術研究的社會責任，這是一件美事：
1. 彼此合作：這270位拆自己台的機會不大，因此重覆別人的實驗，無非打破藩籬，彼此合作，為驗證真理而共同努力。
2. 勇於負責：社會科學研究結論的可靠度值得重視，特別是人類心理很容易受到內外部情境影響，而那些情境變數的交互作用可能不穩定，或不一定在每次實驗中出現，或出現新生變數，這些必須不斷重覆實驗才能證實，所以他們展現出勇於負責的態度。
3. 願意付上代價：以現在的價值標準，研究必需具備創新性，重複別人做的沒有多少價值，在知名刊物刊登的機會不大，所以是付上代價的。
4. 檢舉不避親：除非特殊題目，沒有期刊會刊登假設檢定沒有顯著性的文章，所以造假的動機是存在的。因此官官不再相護，而且若發現，結果跟原本實驗的一致性很低，這無非也是拆自己的台。
5. 對外界示警：既然結果的一致性不高，就間接跟大眾說明，不應過份信任單一研究的結果。
6. 做出不一樣的貢獻：這件事不僅給研究人員研究壓力，更指出未來的研究路線不能只侷限於創新，這也是思想的革新。
------------------------------
不要以惡報惡；眾人以為美的事要留心去做。若是能行，總要盡力與眾人和睦。親愛的弟兄，不要自己伸冤，寧可讓步，聽憑主怒（或作：讓人發怒）；因為經上記著：主說：伸冤在我；我必報應。
------------------------------
270科學家合作，僅能重覆36%心理學實驗結果
Kayue 2015/08/28 18:27:00 發表於 • 國際
270名心理學家合作，重覆100項在三本頂級心理學期刊發表的實驗，當中只有36項結果跟原本實驗一致。結果顯示我們不應過份信任單一研究結果，而這項計劃亦展示了科學界的未來路向。
科學研究重視實驗證據，而任何證據都必須通過同行審查，在其他科學家反覆測試、確認可靠方被接納成為學界共識。據估計，每年有200萬篇科學期刊論文刊出，如何能確保這些論文的結果可靠，成為科學界的重要問題。
近日一項大型研究結果在《科學》期刊發表，270名心理學家合作，嘗試重覆過百項曾於頂尖心理學期刊發表過的實驗。結果發現，原本100項實驗中97項結果具統計顯著性，重覆實驗中這數字降到36項。如果把兩次實驗的數據合起來，則有68項，仍比原本的數字低。足見即使是具質素的研究，仍可能無法重覆實驗結果。
然而如何解讀這項研究，並不簡單。
出版偏誤（publication bias）
學界早就有聲音質疑，現時學術出版的模式會令論文結果有偏差。
學術圈工作競爭激爭，有所謂「發表論文或消失」（publish or perish）的現象，令不少科學家都需要發表成果爭取研究資金。這使得科學家傾向發表創新的結果，而非重覆已有的實驗。
此外，我們傾向認為有顯著、正面結果（例如證實不同現象有關聯）的研究比較有趣，而使得其他具質素、嚴謹但結果並不顯著甚至負面的研究無法刊出。這可能是因為研究員自己認為結果不重要而沒有投稿，轉而花時間去其他研究上；又或是期刊方面認為這些論文不吸引，因此拒絕刊出。
上述因素使得在期刊上的論文側重在正面、創新的結果，此即出版偏誤。即使某個研究結果可能被其他研究否定，但基於出版偏誤，後者無法刊出。這會令學界需要花費更多時間，才能夠辨別清楚哪些研究真正可靠，哪些不是。
2011年底，是次大型研究的計劃開始，由開放科學中心的社會心理學家Brian Nosek統籌。他找了世界各地多支研究隊伍，嘗試嚴謹地重覆三本重要心理學期刊上的實驗︰《Psychological Science》、《Journal of Personality and Social Psychology》及《Journal of Experimental Psychology: Learning, Memory, and Cognition》。
研究人員選取了三本期刊在2008年刊出的論文，用上這一年的研究，是因為足夠近而包含原創的結果，但又不會太新而可以比較論文的反應、引用數量等。最終在488篇論文當中，挑選了111篇論文分配給各支研究隊伍，總共做了113個實驗。這些實驗多數是論文中最後一個實驗，也有其他是按可行性或原作者建議而做。
為了確保重覆的實驗條件盡量跟原本實驗一致，研究人員聯絡了所有原作者，讓他們提供當時的研究數據、材料等，也讓他們檢視重覆實驗的設計。
研究結果
最終有100項實驗能在預定時間完成，研究人員分析結果，並跟原本實驗結果比較。雖然研究人員表明，沒有單一指標可以判斷重覆實驗成功與否，而且他們選用的五個指標亦非唯一，但整體而言如上所述，重覆實驗後統計上顯著的結果明顯較少。
不過研究人員亦指出，不應輕易把成功的重覆實驗結果視為印證理論，畢竟重覆實驗僅為驗證結果的其中一環，我們還需要更多不同的實驗去排除其他可能解釋。另外，也不應輕易因為重覆實驗失敗而否定原本的實驗，雖然他們盡力令實驗接近原本的設計，但還有無法控制的因素使兩者結果有別。
更重要的是，今次研究是首次大型、開放、有系統地審視心理學實驗結果的計劃，所有數據都放在網上。今次研究人員使用的系統，可以供學界日後使用。例如實驗人員可以把研究數據公開，增加透明度，亦方便其他科學家重覆實驗。
科學進步的動力
論文的結論指出，雖然人類希望有確定的結果、知識，科學卻不常提供，單一研究結果幾乎不可能徹底解釋一個現象。是次研究的原本實驗提供了初步證據，重覆實驗則提供額外證據，有時進一步確認原本的結果，有時則說明我們需要更多研究去查明真相。
科學進步是一個累積知識、降低不確定性的過程，但只有科學界對自身保持懷疑，科學才能進步。
最後研究人員表示，他們開始這項計劃，乃出於關注心理學的發展，以及相信這門學問的知識能為人類有益。而實驗的可重覆驗證，對此目標極為重要。同時，累積證據是科學社群自我修正的方法，而且這是最可能達致其終極目標——尋求真相——的方法。
參考：
http://www.thenewslens.com/post/211550/
原文：Estimating the reproducibility of psychological science (Open Science Collaboration)
Scientists replicated 100 recent psychology experiments. More than half of them failed. (Vox)
We found only one-third of published psychology research is reliable – now what? (The Conversation)
Science Has Its Problems, But the Web Could Be the Fix (Wired)
沒有留言:
張貼留言