要我聽你的話?請先確定我會不會信你...

機器人心理學家以平板的語調慢慢說。「你必須告訴他們,但如果你說了,你會造成傷害,所以你一定不能說,但如果你不說,你會造成傷害;所以你必須告訴他們;但如果你說了…」
厄比身子抵住牆壁,雙腿跪了下來。「停止!」他尖叫道:「關上你的心靈!它充滿了痛苦、挫折和恨意!我不是故意的,我不騙你!我試圖幫助你們,我把你們想聽的話告訴你們。我不得不這麼做!」
-以撒˙艾西莫夫(Isaac Asimov)-《騙子》

多數人可能會抱持著這樣的信念:只要能把得到結果的過程解釋的夠清楚,對方就會接受並相信它,即便那是「黑箱」作業程序的產出與行為結果。這種信念若化為一句OS,搭配偶像劇裡出軌的男二纏著女主角說話的語氣,滋味更是妙不可言:

只要讓我好好解釋,你一定會明白我的想法的…
(編按:誰理你阿…) Source

自信的期望(Confident Expectation)是英語字典裡對信賴(Trust)(註1)的一種普遍解釋,這是種「確信我的脆弱不會被別人利用」的感覺。進一步的說,當人們確信自身的權益不會因他者受損,更確信接下來的互動都是這樣的時候,我們才會說某人「信賴」對方。

信賴不只可以存在自身對他人的想法裡。如果科技物在與人互動的過程中表現出具社會意義的社會行為(Social Action),人類就可能對科技物產生信賴感。有的學者認為這種感覺非常重要,因為它會影響使用者能不能接納和持續使用一項科技物。

「解釋機制」正是科技物也能夠表現的社會行為之一。它向使用者揭露系統如何產出、或透過什麼方式產生結果,而如果我們可以提供透明度(Transparency)更高的解釋,讓人了解使用的機制是否公正、精確,還可以讓科技物獲得更正面的評價。這也是人機互動研究者認為解釋機制和其透明度重要的理由。

咦?正面評價,所以我說那個信賴呢?

想從「解釋機制以及它的透明度」推論到「人對科技物的信賴感」,看來並沒有我們想的這麼簡單。開頭的陳述究竟出了什麼問題?缺少的環節是什麼?美國康乃爾大學的教授 René F. Kizilcec 在他 2016 年發表的論文裡指出,要使兩者產生關聯,或許我們還要把使用者「對結果有什麼預期」納入考量。


同儕評分和調分演算法

René 設計了實驗,探討當使用者在期待被滿足、或沒有被滿足的兩種情況之下,如果又得到了透明度不同的解釋,對於系統的信賴程度有什麼影響。他透過採納了同儕評分機制的線上課程來進行實驗。

一般而言,作業都是由授課講師或助教批改。但在這樣的情境裡,由於學生彼此是以個人的經驗和感覺幫別人打作業分數,線上課程平台會使用更具公信力,但複雜程度遠遠超越取平均、標準方差等方式的演算法調整同儕評分的結果,避免出現給分不公平或是標準不一致的情況。當作業被評分完成,學生就會收到來自平台的通知,裡面除了有作業成績和自我評比的分數之外,還附上調分演算法的解釋。

Source

三種不同透明度的解釋和兩種不同的學生期待

參與這個實驗的受測者被隨機分到低、中、高三個不同解釋透明度的組,他們在收到成績時會看到不同的說明文字。低透明度的組的學生只會收到在交作業時自評的預期得分、最終調整成績和簡短的解釋:「基於我們收到的同儕評分結果進行運算,你的作業成績為X」;中透明度的學生除了預期得分和最終調整成績之外,還附加了使用調分演算法的理由(註2);高透明度的組除了有與中透明度組相同的機制說明之外,學生還會看到同儕評比的原始分數是怎麼變成最後成績的。看完成績之後,通知內還附上了問卷,請學生用量表來自評他們對整個評分方式的了解程度、評分機制是否值得相信、評分機制的精確度以及同儕給分的公正性如何。

最後分析時, René 用學生預期得分和調分結果的差異來界定學生處在「符合期待」或者「期待沒有被滿足」的情況,並使用統計方法分析兩個組的學生的問卷評量分數:如果調分之後高於學生的預期,或與預期的分數接近,就是符合期待組;反之,則是不符期待組。


我已如此失望,你還解釋這麼多幹嘛?

比較學生在不同預期心態的情況,René 發現:期待沒有被滿足的學生,他們對於系統的信賴程度顯著的比期待被滿足的學生低。另一方面,解釋機制的透明度只會影響期待沒有被滿足的學生,如果期待被滿足了,不論收到什麼解釋都不會影響他們對調分結果的信賴程度。

解釋機制的透明度並不是越高越好。分析結果顯示,給予期待沒有被滿足的學生一紙透明度高的解釋,反而會折損他們對調分機制的信任感,他們對機制的信賴水平可能還不如那些看到低透明度解釋的學生。但有趣的是,即使期待沒有被滿足,收到了中等透明度解釋的學生反而沒有對調分機制喪失信心,這些學生對機制的信賴程度和期待被滿足的同學沒有顯著的差異。


與其說到嘴破流膿,還不如…

從實驗的結果,我們可以看到學生心中對於成績的預期會影響他們對調分機制的信賴程度,但不是每種透明度的解釋都可以讓學生恢復信心,說得太多有時反而帶來反效果。而對於那些期待明明沒有滿足,信任度也不見負面影響的中透明度組,René 也找出了可能的原因:在回顧了其他領域對於程序正義的研究並與實驗結果對照之後,他認為將程序說明清楚可能就足以應付大部分的情況,又不至於讓學生失去對系統的信任,額外列出演算法調整前同儕給的評分,反而會強化學生心中那股結果與預期不符的失落感。

筆者認為這個研究點出了解釋機制的盲點值得思考:科技物日新月異,內含的技術力越來越高,這表示理解科技物在做什麼的知識門檻比以往更高,對普羅大眾來說,這些產品活像是個「黑科技」,內含不可名狀的「黑箱機制」,他們未必具備足夠的背景知識去了解整個執行過程,或者演算結果如何產生,就算他們有能力,也不一定願意花時間消化這些解釋。在解釋這些「黑箱機制」和其結果的時候,我們應該慎選解釋的內容,例如只提及概略的執行程序或加入演算法的動機,而不是說出與結果相關的細節。多說可能多錯,尤其當我們預期使用者對系統產出沒那麼有信心的時候,更應該謹言慎行。


結語

Source

人機互動研究有趣的地方,在於研究裡揭露的東西都是對「人」有效的機制和指引,這篇論文告訴我們的不只是科技物的解釋機制應該如何設計,它也指出了人際溝通時有用的解釋技巧。你是否偶爾會想「我都解釋了這麼多,為什麼你還不懂」,你可能相當熟悉該領域、或者你根本是已被同儕認可的專家,你有辦法說明林林總總的細節,但是對你要溝通的對象來說,並不是什麼解釋都可以發揮正面效用,你的解釋在聽的人耳朵裡搞不好只代表傲慢-那種「只有我最懂,我世界懂,其他人都不懂,讓我來好好教育(訓)你」的傲慢。

時事裡也有許多例子可以看出解釋和信任會彼此影響,例如某些軍人團體對政府進行年金改革的反應(但其實他們本來就不信任現在的執政團隊…)、擁核派和廢核派之間的論戰等等。立場迥異的雙方要能持續進行有意義溝通的基礎,在於設身處地去了解彼此的立場和建立可持續的信賴關係。當我們真的得到了機會,人家願意「聽你好好解釋」時,或許就可以把這些概念應用在溝通裡,讓雙方的討論不是各說各話,甚至摧毀彼此的互信。


讀到這裡,你還有沒有其他的想法呢?歡迎在 Medium 平台內留言與編輯群交換心得。也歡迎在左方 👏 按鈕處給編輯群一些掌聲,鼓勵「人機共生你我它」繼續推廣人機互動研究的科普文章!

作者:黃振瑋

感謝:楊期蘭 Chi Lan Yang、劉淨 Ching Liu、陳示家(from Libgirl)提供編輯意見


註1:為了文章通順,文內各處混用了信賴、信任等名詞,但它們指涉的是同一個概念。另外,教育部字典的釋義是「信任仰賴」。

註2:中等透明度的組別裡,學生看到的文字是「基於我們收到的同儕評分結果進行運算,你的作業成績為X。透過過往修課學生的評分紀錄,我們利用演算法評估了評分時可能出現的偏誤並以統計方法修正,這個運算能讓你的成績不因評量者的喜好或是評量者的熟練程度所影響。」

參考資料

[1] René F. Kizilcec, How Much Information?: Effects of Transparency on Trust in an Algorithmic Interface, Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems, May 07–12, 2016, San Jose, California, USA