關於Amy Cuddy的「研究造假」

近日讀到一篇The New York Time Magazine一篇透過對於Cuddy研究被質疑的報導回顧了整個社心對於重複驗證的一股風潮,文章極長,但是讀完感觸良多,寫下幾點,作為一個註腳。

原文請參閱:goo.gl/8ZQjGD

以下是一些感想:

  1. 這個記者實在是太專業了!
  • 讓我印象最深刻的是:她(記者Susan Dominus)提醒Simmons在他寫給Amy的信中,曾建議拿掉p-curve,但是因為Simmons自己忘記了,以致於後來還因為Cuddy沒有放p-curve使得Simmons誤以為Cuddy「故意」忽略證據。然後經由她指出之後,Simmons表示「應該」直接打電話給Cuddy。這件事讓我覺得記者讀所有資料的深入程度,實在到了一個驚人的地步。其他各種深入研讀,直接訪談相關人物的各種努力,只為了寫一篇這樣的文章,實在是敬業到了極致。其實這種態度,查證的仔細程度,比之我們很多「科學家」,也有過之而無不及了!

2. 要把context放進來考量

  • 記者(Susan Dominus)指出一件我覺得蠻重要的事情,也就是1990之後,社心有一波被重視的潮流,然後研究的風氣越來越需要標新立異,甚至越不可思議新奇性就越討好;而這樣的風潮搭著PsySci與TED的興起,使得研究者會更容易踏入false-positive的陷阱(遑論原本就有的發表壓力和競爭也越來越激烈)。在這樣的背景氛圍之下,就算沒有造假,也是會嘗試各種操弄,然後摒棄做不出來的操弄,只選出一個「最」成功的策略。但是如果同樣的操作化下,為何其他都弄不出來?這就沒有太多人在意了。何況在誤差的控制,研究參與者的暗示,資料的篩選上,資料的轉換,統計策略的選擇等都有太多「可運作空間」時,大家爭先恐後的要丟出「最迷人」的研究成果,也默默的自己忽略可能的問題,這是大氛圍之下的產物,未必是單一研究者道德的問題。自問我們自己,如果做一系列五個研究,有三個支持假設,兩個不支持,難道不會也覺得先發表那三個支持的再說?在各種壓力之下,「稍微」忽略不是那麼支持的證據,也沒有太大的惡意,不是嗎?但是當大家都這麼做,false-positive也不是太不可能了!

3. 有沒有造假?

  • 就Cuddy這個例子來說,我自己是覺得沒有明顯造假的證據。也許N不夠大,也許測量有些問題,也許還有其他的問題,但是從來沒有人抓到具體「造假」的證據。就算是Simmons的批評也是指出綜合論文的研究,只是在chance-level而已。甚至文中也指出,Simonsohn對於Carney那篇「反叛文」也批評說:「就算證據沒有支持第九行星的存在,也不否認第九行星的可能性」。也就是說,這些「研究結果」究竟要怎樣詮釋,還沒有定論。並沒有堅持Cuddy的論文有造假的問題。何況,該篇論文也沒有被撤稿啊~~
  • 但是對應於大眾的批評,就顯得直接定罪了!我覺得現在社會瀰漫著一股「獵巫」的氣氛。透過各種簡易的社群媒體,反正先批判了再說,找到一個目標大家就去圍攻,頗像是嗜血的禿鷹。吸乾了啄盡了,就擁向下一個目標,至於原來被搞得體無完膚的那個人受到多少額外的傷害,也不會有人真正的關心了。我覺得這篇報導,一定程度也試著替Cuddy申冤,然後也指出這個現象。在文章最後,她用Cuddy正在寫「Bullies, Bystanders and Bravehearts」的新書做結尾,我認為是一定程度的支持對Cuddy確實是一個過度的「迫害」了。不過,我覺得這個現象不是單一的狀況,在台灣也是一個很普遍的風氣,「獵巫」有儼然的正義形象,但有多少人做過像這個記者一樣的功課?我覺得很多都是借正義之名,行罷凌之實,發洩的是自己的各種不滿而已。

4. 權力的對等性

  • Simmons的很多「批評」,乃至後續Gelman把Cuddy的研究稱之為「報屁股飼料」之類的批評很多都是發表在他們自己的blog或web上,也就是說,這些「批判文」其實是不需要經過peer review的!但是,這些人卻擁有一堆「對現實不滿者」的支持。如此一來,那豈不是有很明顯的權利義務不對等的狀況。要罵人的人,只要在自己的blog說一套自己的「證據」,但是這些說法其實並不需要太多審查就可以自由的論說,然後有一定透過民粹的支持,就形成了「輿論」。但是要defend的人卻需要透過很多科學的證據,嚴謹的程序,苛刻的檢視才能夠證明自己的清白,或者祈求大家原諒自己的沒有惡意。這個不對等,我覺得還蠻危險的!文中還提到原本想要出來支持Cuddy的人,在這樣的氛圍中也都僸聲了,深怕自己會「惹禍上身」!這樣的「結構」,難道不是很不平等的錯置嗎?

5. 研究的目的究竟為何?

  • 最近我讀Langer的書,她講到一句話讓我還蠻感慨的。她說:我們研究的是「可能性」,而不是「事實」而已(雖然我找不到這句話的原文或出處)。但是這句話也呼應我最近所讀葉啟政老師的文章。知識的進展或許很大一部分建立在事實之上,尤其是我們這種做實徵研究的人。但是,做研究還有一個很特別的任務,那就是促進知識的提升。對此,我們或許也可以很大膽的提出「可能性」來刺激思考。我記得我的老師(M. Zuckerman)曾經說:「不用太擔心你的研究是否能夠被複製。如果根本沒趣,那也不會有人想要複製;如果太革命,那還擔心來考驗的人不夠多嗎?研究者提出大膽的思考,挑戰自己和已知,這樣就足夠了」。當然,Zuckerman自己做研究是很嚴謹的,但是卻不是那種極大化的人。我覺得他講的這句話很有魄力,也令人感動。太標新立異是街頭藝人,但是沒有大膽提出知識的可能性,自己關在被尊崇的高塔描述沒有創新性的事實者,難道就因此有審判別人的虎頭鍘之特權嗎?
One clap, two clap, three clap, forty?

By clapping more or less, you can signal to us which stories really stand out.