什麼？大部分心理學研究都無法再現！
聊聊心理學「重製性」議題與其解決之道。
圖、文／家綺
前言
議題簡介
心理學（psychology）是一門研究人類心理現象、意識和行為的科學。它既是一門理論學科，也是一門應用學科。雖然至今只不過發展一百餘年，不過研究的領域包羅萬象，從感覺、知覺、認知，到情緒、人格、行為和人際關係等等都是心理學家研究的範疇。儘管心理學研究領域廣泛，學門也逐漸被世界所重視，看似前程似錦，然而在2015年底，心理學界卻面臨了史無前例的一大挑戰：在100個心理學經典實驗中，只有少部分（36%）能夠被重複驗證，其餘的不是效果不顯著，就是結論與原先研究天差地遠。這個結論在心理學領域埋下了一顆震撼彈，除了讓學者們以更謹慎的態度去檢視前人的研究，也讓大家去反思如何增加心理學研究的穩定與正確性。
而這次，很榮幸能邀到在台灣大力推導開放科學的陳紹慶老師，來與我們聊聊這個議題，而以下是關於老師的介紹：
老師簡介
陳紹慶老師目前任教於慈濟大學人類發展與心理學系，研究領域是認知心理學。除了投入此領域研究外，老師也積極在臺灣推廣開放科學，以克服心理學的重製性危機。近期，紹慶老師也有經營以開放科學為導向的podcast 平台 — 開放咖啡角。
而接下來的文章段落是訪談老師後所做的整理，內容會分成幾個主軸：
重點內容
＊可重製性問題簡介。
＊心理學知名爭議研究。
＊心理學不可重製的解決之道。
如果你是想要從事心理學研究，或只是好奇心理學界發生了哪些大事，都可以好好細讀本次的文章內容！
什麼是「可重製性」問題？
科學，最終的目標是要將這複雜的世界，歸納出幾個簡單通則，我們可以利用它去描述、解釋、預測或是控制這個世界。而心理學，正是個全方位了解人類的一門科學，在這門科學中，科學家們也是一樣期望在多變的人類習性中，找到能夠解釋我們的情緒、性格、認知等等的理論。
因為科學是客觀存在的事實，因此照理來說，被證實的理論應該不但要能穩定存在，而且還要能被重製。簡單來說，如果同樣研究，是在相同的情境、遵循著一樣的步驟、使用相同的統計方法，得出來的結果如果與先前的差異不大，我們就會認為這樣的研究是具有可重製性 (replicability)。
關於「可重製」議題的開端
2015 年 8 月，由 270 個科學家組成的 Open Science Collaboration (OSC) 團隊在 Science 發表了一篇文章，團隊從幾個重要期刊中隨機抽出 100 個經典實驗，並複製之前的步驟重做了一次，結果發現：發現只有 36% 的實驗能成功重製出來！其餘的不是效果不顯著，就是效果與理論所預測的相反。這樣子的結果，當然在學術上掀起了一番熱議，而從這之後，越來越多人開示重視心理學的重製危機。
那，什麼又會造成研究「不可被重製」
很多因素都會造成一個實驗它變得不可重製，除了實驗者違背良心造假外，不同的實驗情境、參與者、不同世代等等都會造成研究有所改變，造成實驗結果不可被重製。除此之外，就算實驗操弄與原本的實驗非常相近，也可能因為現象不穩定存在，造成結論不顯著的結果。
找出不可重製的元兇！— 飽受爭議的研究
Daryl Bem 的超感知覺研究
講到難以重製的代表，就不得不提到 Daryl Bem 這號大人物。Daryl Bem 是康奈爾大學的社會心理學家和榮譽退休教授，也是態度(attitude)與自我知覺理論 (self-perception theory) 的創始者。除了專研社心領域外，他還專研了psi 現象(超心理學)，研究主題包含了：心靈感應、預知、千里眼、心理傳動等等。有趣的是，他在2010年進行了一項神奇的驗證實驗，從結果點出人類擁有「預測未來」的通靈能力。
超感知覺引起爭議之處
聽起來這麼酷的研究，當然在期刊上馬上引起了一番熱議。儘管統計上效果顯著，但是還是為人所撻伐，不但被學者們認為是偽科學，還被絕大多數主流科學家所拒絕。但為什麼會這樣呢？
研究方法
一般來說，心理學的實驗方法是先要對研究結果作出假設，並對可能結果預先做出詮釋，也可以叫它是「先驗假設」。然而，Daryl Bem 在研究往往都沒有對結論先提出良好的假設，而是在實驗後，根據實驗結果去做解釋。
這樣子的現象，在心理學界被譏諷為HARKing (hypothesizing after the results are known)，當一個研究是在事後才提出假設，它就算是HARKing。研究者藉由HARKing，事後才對數據提出合理的詮釋，因此詮釋往往非常精確，實驗也看起來非常成功。儘管 HARKing 看起來很能解釋實驗，但對於真實世界並沒有太多的預測及解釋能力。因為HARKing只不過是看著數字來編造眼前的故事罷了。
除了在事後才解釋實驗假設外，另一個引人撻閥的是 Daryl Bem 並沒有照著原計劃執行實驗，而是在中途改變了實驗程序，讓操作變得更容易顯著。因為主動地調整實驗，因此結果當然會被學者們質疑。
統計方法
心理學是一門很講究統計的學門，許多效果是否顯著，都是仰賴著統計來幫助我們去做決策。然而，統計工具五花八門，相同的數據在不同的公式能得出相異的結論，因此，這也製造了模糊地帶，統計模型與閾值是能讓研究者自行選用。
儘管如此，大部分學者在假設檢定 (NHST) 時會採用雙尾，機率值(p-value)為.05，雖然這個數值一定的準則，然而因為它較為嚴謹，因此一般人做假設檢定時會奉行著這套標準。而 Daryl Bem 在超感知覺研究中，是採用了單尾檢定，而這樣會讓結論比較容易顯著，進而得出實驗是有效果的結果。
除此之外，Daryl Bem 為了讓結果漂亮，他選擇一些容易顯著的統計模型，而非選擇最合適的統計工具，因此結論也備受學界質疑。
「超感知覺」研究可重製性
平時生活的我們很少見驗證第六感、心理感知這方面酷炫的能力，因此Daryl Bem 的實驗結論十分令人驚奇。儘管掀起了一番熱議，然而後人在複製實驗時，不是效果量不大，就是統計不顯著，無法得到原初的結果。
看來，我們對人類超感知覺的研究，還有一大段路途要邁進！
造假案讓實驗無法重現
Diederik Stapel 的造假經歷
說到心理學上最惡名昭彰的造假案，大家都會想到這個人：Diederik Stapel。Diederik Stapel 之所以會這麼為人所知，是因為在研究生涯中，他獲獎無數，包括：傑出研究獎、青年科學家獎，除此之外，他還是社會心理學專業學會會長、蒂爾堡大學社會與行為科學院院長。儘管有著如此風光的頭銜，實驗造假最後還是只包不住火。2011 年 9 月，在校方接受完檢舉後，馬上就將 Diederik Stapel 停職，並且公開此事。後來，荷蘭大學聯合組成委員會，來調查此案的事發經過。
Diederik Stapel 的犯案手法
在 Diederik Stapel 的研究中，不難發現漂亮的數字與研究結果，過往，在還沒有發現真相以前，大家都認為 Diederik Stapel 的實驗做得很成功。然而，後來有人發現，許多相異實驗的數據不是全數相同，就是十分相似，因此讓人起疑。一開始 Diederik Stapel 矢口否認，然而後來掀起了學界的關注，他才承認自己有竄改原始資料、假造數據，且數據蒐集，操弄處理各項報告與分析，剔除不符合結果的受試者。
造假案的後續影響
對於 Diederik Stapel，這場造假案不但讓他失去了許多耀眼的頭銜，永不得錄用，也讓他先前做的58 篇論文被全數撤回。對於個人來說，Diederik Stapel 已不再被人所信任，過往尊敬、信賴他的學者與學生，現在已對它嗤之以鼻。
但造假案影響層面不僅僅是個人信譽而已，造假案的出現對於學界的也影響甚大。因為心理學的研究往往都是建構在先前研究下繼續進行，因此 Diederik Stapel 所造假的文獻，可能讓後人引用到有問題的數據、錯誤結論，讓後人研究徒勞無功，甚至誤導他人的研究方向。從結果來看，造假不光光是個人的事，這也關乎了學界研究的進展。也因此，自從 Diederik Stapel 造假案被揭露後，荷蘭發起了「開放科學」的運動，期望心理學後續能更透明，減少實驗偏差、造假的可能。
那，我們該怎麼避免可重製危機呢？
關注一下在這方面努力的組織們！
在造假案、實驗不可複製性爆發之後，荷蘭首當其衝建立了許多組織，來防範相關危機，一舉成為了全世界開放科學的先鋒者。而推動科學開放的組織，不外乎就是期望科學能夠重製、現象能夠穩定地被發現，因此Society for the Improvement of Psychological Science, Psychological Science Accelerator, Collaborative Replications and Education Project (CREP)這些組織的主要訴求為：開放實驗的方法、資料、原始碼，增加同儕互審(peer review)的機會等等，以此降低實驗偏誤的可能。
這些組織，除了致力於開放實驗程序與資料外，近年來，也在推行預先註冊、註冊報告的程序，讓實驗者在進行實驗前，先提出對於實驗的安排與結果的說明，以此來減少事後解釋、實驗時修改程序的弊端，來讓科學變得更公開透明，知識才有望客觀且正確。
除此之外，這些組織也會定期推出跨實驗室研究專案，除了能夠與夥伴一起去重製以前的實驗外，也能一同合作去開發新主題，來讓研究有機會被各方檢驗，觀察現象在跨文化、情境下的穩定性。
我們又可以做些什麼
除了關注開放科學的組織外，作為研究者，在申請實驗時，可以妥善利用預先註冊，來避免自己犯了HACKing的可能；在執行實驗時，也要遵守研究倫理，抱持誠信的態度來建立科學。除了研究者的努力之外，作為讀者的我們，知道心理學的不穩定後，更要對文獻數字與方法抱持懷疑的態度，時時檢驗程序與計算的合理性，如此才能夠發現潛在的問題，心理學才能夠修正與進步。
總結
儘管心理學已經是個科學，也發展了一百餘年，但很顯然，它的根基還不夠穩固。除了現象不太穩定、實驗無法重製之外，造假醜聞也讓過往已建立的理論變得更受質疑。雖然研究上不夠透明、嚴謹的弊端無法在一時中全數解決，但是在全世界的組織、學者與我們的重視之下，相信心理學將會變得更穩固與正確！
延伸閱讀
參考資料
- HARKing. (2021, July 7). In Wikipedia. https://en.wikipedia.org/wiki/HARKin
- Daryl Bem. (2021, July 8). In Wikipedia. https://en.wikipedia.org/wiki/Daryl_Bem
- Diederik Stapel. (2021, July 9). In Wikipedia. https://en.wikipedia.org/wiki/Diederik_Stapel
- Open science. (2021, July 12). In Wikipedia. https://en.wikipedia.org/wiki/Open_science
- 科技部研究誠信電子報創刊號. (2017, April) http://www.cc.gatech.edu/gvu/user_surveys/surve
