什麼?大部分心理學研究都無法再現!
聊聊心理學「重製性」議題與其解決之道。
圖、文/家綺
前言
議題簡介
心理學(psychology)是一門研究人類心理現象、意識和行為的科學。它既是一門理論學科,也是一門應用學科。雖然至今只不過發展一百餘年,不過研究的領域包羅萬象,從感覺、知覺、認知,到情緒、人格、行為和人際關係等等都是心理學家研究的範疇。儘管心理學研究領域廣泛,學門也逐漸被世界所重視,看似前程似錦,然而在2015年底,心理學界卻面臨了史無前例的一大挑戰:在100個心理學經典實驗中,只有少部分(36%)能夠被重複驗證,其餘的不是效果不顯著,就是結論與原先研究天差地遠。這個結論在心理學領域埋下了一顆震撼彈,除了讓學者們以更謹慎的態度去檢視前人的研究,也讓大家去反思如何增加心理學研究的穩定與正確性。
而這次,很榮幸能邀到在台灣大力推導開放科學的陳紹慶老師,來與我們聊聊這個議題,而以下是關於老師的介紹:
老師簡介
陳紹慶老師目前任教於慈濟大學人類發展與心理學系,研究領域是認知心理學。除了投入此領域研究外,老師也積極在臺灣推廣開放科學,以克服心理學的重製性危機。近期,紹慶老師也有經營以開放科學為導向的podcast 平台 — 開放咖啡角。
而接下來的文章段落是訪談老師後所做的整理,內容會分成幾個主軸:
重點內容
*可重製性問題簡介。
*心理學知名爭議研究。
*心理學不可重製的解決之道。
如果你是想要從事心理學研究,或只是好奇心理學界發生了哪些大事,都可以好好細讀本次的文章內容!
什麼是「可重製性」問題?
科學,最終的目標是要將這複雜的世界,歸納出幾個簡單通則,我們可以利用它去描述、解釋、預測或是控制這個世界。而心理學,正是個全方位了解人類的一門科學,在這門科學中,科學家們也是一樣期望在多變的人類習性中,找到能夠解釋我們的情緒、性格、認知等等的理論。
因為科學是客觀存在的事實,因此照理來說,被證實的理論應該不但要能穩定存在,而且還要能被重製。簡單來說,如果同樣研究,是在相同的情境、遵循著一樣的步驟、使用相同的統計方法,得出來的結果如果與先前的差異不大,我們就會認為這樣的研究是具有可重製性 (replicability)。
關於「可重製」議題的開端
2015 年 8 月,由 270 個科學家組成的 Open Science Collaboration (OSC) 團隊在 Science 發表了一篇文章,團隊從幾個重要期刊中隨機抽出 100 個經典實驗,並複製之前的步驟重做了一次,結果發現:發現只有 36% 的實驗能成功重製出來!其餘的不是效果不顯著,就是效果與理論所預測的相反。這樣子的結果,當然在學術上掀起了一番熱議,而從這之後,越來越多人開示重視心理學的重製危機。
那,什麼又會造成研究「不可被重製」
很多因素都會造成一個實驗它變得不可重製,除了實驗者違背良心造假外,不同的實驗情境、參與者、不同世代等等都會造成研究有所改變,造成實驗結果不可被重製。除此之外,就算實驗操弄與原本的實驗非常相近,也可能因為現象不穩定存在,造成結論不顯著的結果。
找出不可重製的元兇!— 飽受爭議的研究
Daryl Bem 的超感知覺研究
講到難以重製的代表,就不得不提到 Daryl Bem 這號大人物。Daryl Bem 是康奈爾大學的社會心理學家和榮譽退休教授,也是態度(attitude)與自我知覺理論 (self-perception theory) 的創始者。除了專研社心領域外,他還專研了psi 現象(超心理學),研究主題包含了:心靈感應、預知、千里眼、心理傳動等等。有趣的是,他在2010年進行了一項神奇的驗證實驗,從結果點出人類擁有「預測未來」的通靈能力。
超感知覺引起爭議之處
聽起來這麼酷的研究,當然在期刊上馬上引起了一番熱議。儘管統計上效果顯著,但是還是為人所撻伐,不但被學者們認為是偽科學,還被絕大多數主流科學家所拒絕。但為什麼會這樣呢?
研究方法
一般來說,心理學的實驗方法是先要對研究結果作出假設,並對可能結果預先做出詮釋,也可以叫它是「先驗假設」。然而,Daryl Bem 在研究往往都沒有對結論先提出良好的假設,而是在實驗後,根據實驗結果去做解釋。
這樣子的現象,在心理學界被譏諷為HARKing (hypothesizing after the results are known),當一個研究是在事後才提出假設,它就算是HARKing。研究者藉由HARKing,事後才對數據提出合理的詮釋,因此詮釋往往非常精確,實驗也看起來非常成功。儘管 HARKing 看起來很能解釋實驗,但對於真實世界並沒有太多的預測及解釋能力。因為HARKing只不過是看著數字來編造眼前的故事罷了。
除了在事後才解釋實驗假設外,另一個引人撻閥的是 Daryl Bem 並沒有照著原計劃執行實驗,而是在中途改變了實驗程序,讓操作變得更容易顯著。因為主動地調整實驗,因此結果當然會被學者們質疑。
統計方法
心理學是一門很講究統計的學門,許多效果是否顯著,都是仰賴著統計來幫助我們去做決策。然而,統計工具五花八門,相同的數據在不同的公式能得出相異的結論,因此,這也製造了模糊地帶,統計模型與閾值是能讓研究者自行選用。
儘管如此,大部分學者在假設檢定 (NHST) 時會採用雙尾,機率值(p-value)為.05,雖然這個數值一定的準則,然而因為它較為嚴謹,因此一般人做假設檢定時會奉行著這套標準。而 Daryl Bem 在超感知覺研究中,是採用了單尾檢定,而這樣會讓結論比較容易顯著,進而得出實驗是有效果的結果。
除此之外,Daryl Bem 為了讓結果漂亮,他選擇一些容易顯著的統計模型,而非選擇最合適的統計工具,因此結論也備受學界質疑。
「超感知覺」研究可重製性
平時生活的我們很少見驗證第六感、心理感知這方面酷炫的能力,因此Daryl Bem 的實驗結論十分令人驚奇。儘管掀起了一番熱議,然而後人在複製實驗時,不是效果量不大,就是統計不顯著,無法得到原初的結果。
看來,我們對人類超感知覺的研究,還有一大段路途要邁進!
造假案讓實驗無法重現
Diederik Stapel 的造假經歷
說到心理學上最惡名昭彰的造假案,大家都會想到這個人:Diederik Stapel。Diederik Stapel 之所以會這麼為人所知,是因為在研究生涯中,他獲獎無數,包括:傑出研究獎、青年科學家獎,除此之外,他還是社會心理學專業學會會長、蒂爾堡大學社會與行為科學院院長。儘管有著如此風光的頭銜,實驗造假最後還是只包不住火。2011 年 9 月,在校方接受完檢舉後,馬上就將 Diederik Stapel 停職,並且公開此事。後來,荷蘭大學聯合組成委員會,來調查此案的事發經過。
Diederik Stapel 的犯案手法
在 Diederik Stapel 的研究中,不難發現漂亮的數字與研究結果,過往,在還沒有發現真相以前,大家都認為 Diederik Stapel 的實驗做得很成功。然而,後來有人發現,許多相異實驗的數據不是全數相同,就是十分相似,因此讓人起疑。一開始 Diederik Stapel 矢口否認,然而後來掀起了學界的關注,他才承認自己有竄改原始資料、假造數據,且數據蒐集,操弄處理各項報告與分析,剔除不符合結果的受試者。
造假案的後續影響
對於 Diederik Stapel,這場造假案不但讓他失去了許多耀眼的頭銜,永不得錄用,也讓他先前做的58 篇論文被全數撤回。對於個人來說,Diederik Stapel 已不再被人所信任,過往尊敬、信賴他的學者與學生,現在已對它嗤之以鼻。
但造假案影響層面不僅僅是個人信譽而已,造假案的出現對於學界的也影響甚大。因為心理學的研究往往都是建構在先前研究下繼續進行,因此 Diederik Stapel 所造假的文獻,可能讓後人引用到有問題的數據、錯誤結論,讓後人研究徒勞無功,甚至誤導他人的研究方向。從結果來看,造假不光光是個人的事,這也關乎了學界研究的進展。也因此,自從 Diederik Stapel 造假案被揭露後,荷蘭發起了「開放科學」的運動,期望心理學後續能更透明,減少實驗偏差、造假的可能。
那,我們該怎麼避免可重製危機呢?
關注一下在這方面努力的組織們!
在造假案、實驗不可複製性爆發之後,荷蘭首當其衝建立了許多組織,來防範相關危機,一舉成為了全世界開放科學的先鋒者。而推動科學開放的組織,不外乎就是期望科學能夠重製、現象能夠穩定地被發現,因此Society for the Improvement of Psychological Science, Psychological Science Accelerator, Collaborative Replications and Education Project (CREP)這些組織的主要訴求為:開放實驗的方法、資料、原始碼,增加同儕互審(peer review)的機會等等,以此降低實驗偏誤的可能。
這些組織,除了致力於開放實驗程序與資料外,近年來,也在推行預先註冊、註冊報告的程序,讓實驗者在進行實驗前,先提出對於實驗的安排與結果的說明,以此來減少事後解釋、實驗時修改程序的弊端,來讓科學變得更公開透明,知識才有望客觀且正確。
除此之外,這些組織也會定期推出跨實驗室研究專案,除了能夠與夥伴一起去重製以前的實驗外,也能一同合作去開發新主題,來讓研究有機會被各方檢驗,觀察現象在跨文化、情境下的穩定性。
我們又可以做些什麼
除了關注開放科學的組織外,作為研究者,在申請實驗時,可以妥善利用預先註冊,來避免自己犯了HACKing的可能;在執行實驗時,也要遵守研究倫理,抱持誠信的態度來建立科學。除了研究者的努力之外,作為讀者的我們,知道心理學的不穩定後,更要對文獻數字與方法抱持懷疑的態度,時時檢驗程序與計算的合理性,如此才能夠發現潛在的問題,心理學才能夠修正與進步。
總結
儘管心理學已經是個科學,也發展了一百餘年,但很顯然,它的根基還不夠穩固。除了現象不太穩定、實驗無法重製之外,造假醜聞也讓過往已建立的理論變得更受質疑。雖然研究上不夠透明、嚴謹的弊端無法在一時中全數解決,但是在全世界的組織、學者與我們的重視之下,相信心理學將會變得更穩固與正確!
延伸閱讀
參考資料
- HARKing. (2021, July 7). In Wikipedia. https://en.wikipedia.org/wiki/HARKin
- Daryl Bem. (2021, July 8). In Wikipedia. https://en.wikipedia.org/wiki/Daryl_Bem
- Diederik Stapel. (2021, July 9). In Wikipedia. https://en.wikipedia.org/wiki/Diederik_Stapel
- Open science. (2021, July 12). In Wikipedia. https://en.wikipedia.org/wiki/Open_science
- 科技部研究誠信電子報創刊號. (2017, April) http://www.cc.gatech.edu/gvu/user_surveys/surve