從易用性測試檢視設計成果! |以隱性特殊需求議題為例(下)

隱性特殊需求議題的社會設計成果如何驗證 ? 我們該如何從擬定訪綱、用戶訪談、易用性測試綜合學習 ? 趕緊來看下去吧。

boooozhi
Social Design  You And I
13 min readSep 28, 2022

--

本篇文章將會記錄研究團隊經由點子發想到點子落地,提出最小可行方案之結果後,如何進行初步設計驗證。此專案內容學習成果與部分學術研究,並於過程中嘗試與各機關組織、基金會、資源教室等單位進行接洽,如有相關合作建議與指教,歡迎在文中留言討論,讓我們能讓社會提供更好的設計。在本篇,您可以看到:「易用性訪綱擬定、易用性測試及初步結果、以及後記的反思內容」目錄一、前言
二、易用性訪綱擬定
三、易用性測試
四、初步設計驗證結果
五、後記與結語
關於這個系列文章如下【執行前期準備】 社會設計是什麼? 怎麼做? 入門前期準備六步驟!【議題搜集上篇】 三大社會設計問題理解議題怎麼探索?【議題搜集下篇】 4點探索社會設計議題?【定義核心問題】我們該如何 (HMW) 定義社會設計主題?【設計原型製作】運用社會學與設計學的 ”社計” 得出綜合解法!【初步設計驗證】 從易用性測試檢視設計成果!【階段成果發表】關於社會設計專案的收尾與結語

一、前言

根據專案前述從團隊探索議題開始,依據從隱性特殊需求出發,並在議題中逐漸聚焦在台大校園中。然而,對於執行專案的議題範圍過大,團隊須考量成員負擔及之量緣故,因此團隊在 2021.07–08 月間不斷找出可完成階段性最小具體可行方案(MVP) 為基準,一步一步調整步調來使專案更加完善(圖1)。

隱性特殊需求專案研究流程
圖1、社會設計專案研究流程

根據團隊在訪談學生助理的過程中,共同交集在學生助理皆想要在引導以及教學的過程中,能夠及時知道能夠如何來進行協助,而當星兒學生發生狀況時我們可以怎麼做,若學生助理利用線上Google查找資料則指出由於資料過多,並且多數文獻皆聚焦在學生身上,也因此在辨別資訊的內容需要花費過多時間,以及最後會隨著在台大校園環境中出現特定的情境,則與《PEERS青年社交技巧訓練》書本上有些許落差。

團隊聚焦的設計策略以「操作可近性」、「資源即時性」、「資訊更新速度」進行發想及調整(圖2),最終選擇透過以臉書經營品牌,並透過臉書聊天機器人形式來協助第一時間推波或提供相關輔助內容給予學生助理或是社會大眾。

圖2、團隊提出之設計策略
圖2、團隊提出之設計策略

二、易用性訪綱擬定

設計團隊在經過議題探索以及轉換研究的對象之後(由星兒轉為學生助理為主),透過上節文章內容以及團隊發想執行之後所製作出設計原型,接著研究團隊也必須從中找到相關聊天機器人之相關文獻。

團隊參考了由范蔚敏(見文末參考文獻)2020年發表在大學圖書館運用聊天機器人的虛擬參考諮詢功能如何可能,文獻中可以得知聊天機器人的應用除了在商業上,在相關對話為主的情感要素中,也應該具有問候、感謝、回答、確認、結束的五項要素,並且要透過更多的感性層面來製作執行,團隊認為在製作臉書聊天機器人的過程中,雖然也要在第一時間給予學生助理或是大眾協助,但並非是如同商業導向必須要追蹤訂單,或是提高轉換率、推波購買優惠等活動類型,而是也要成為一名陪伴者或輔導員,共同一起幫助大眾、一起幫助學生助理共同協助解決當下所發生的問題,奇相關的內容如下圖3所示。

圖3、原型測試流程
圖3、原型測試流程

設計團隊擬定易用性測試內容,訪談兩位曾擔任過學生助理來進行初步驗證,一位為半年經歷,另外一位為長達五個學期之學生助理同學。

訪談過程陸續挖掘半年經歷之學生助理,有著因應上的困擾以及較為菜鳥階段來測試原型,期望透過原型給予受訪者因應方法上的參照。而另一位具五個學期經歷極端使用者之學生助理,則透過自身經驗來驗證原型是否有用,以及點出尚未完善之處。團隊根據文獻以及所建置之聊天機器人粉絲專頁擬定下列評斷方式。

聊天機器人所對應之個性、品牌形象、品質資訊(主要是了解回覆資訊即時性、足夠程度、適時性與問題解決程度)、系統資訊(主要是了解使用感受、回應速度等,例如:給人一種安全感或是可靠感受)、互動性(了解在聊天機器人判斷使用者的需求時能給予適當回應)及使用意願這幾點綜合討論。

易用性訪談大綱
表1、易用性訪談大綱
表2、訪談構面與大綱
表2、訪談構面與大綱

三、易用性測試

團隊採線上視訊訪談方式,搭配分享手機螢幕為輔方式進行易用性測試。藉由深度理解兩位學生助理過去擔任學生助理之經驗、認知,以及在操作原型聊天機器人後給予之回饋為主。研究團隊提出四種不同情境別來給予測試,團隊獲得的回饋如下所示 :

3.1 情境一【星兒打電話想知道如何趕快結束話題】

晚上你有個報告要完成,當你正在趕作業時,星兒突然打了電話過來,接起來後你才發現,他其實是想跟你聊他喜歡的話題,而且一講就講了十多分鐘⋯⋯

情境一易用性測試

團隊訪談完兩位學生助理後,關於原型的想法提出一些優缺點。如 : 學生助理B表示,透過圖卡方式能夠快速地找資訊位置,但對於緊急字詞是可以修改,因為對於使用者來說,這些問題都不是急迫或緊急的情境。而學生助理A則認為這樣的聊天機器人分層上面明確,能夠在額外加上學生助理想要結束話題的理由,而藉由原型找一個藉口,而是可以很直接表達自己的感受,加入原型的一種因應策略(圖4)。

圖4、情境一易用性測試回饋

3.2 情境二【課業輔導教學離題】

在快要結束課業輔導的倒數半小時中,你發現星兒都不願意討論課業,只專注在自己喜歡的話題上,這讓你感到很困擾……你覺得這次的課業輔導若是持續下去並沒有更好的成效,因此想要結束這次的課業輔導。

情境二易用性測試
情境二易用性測試

學生助理B表示在因應時,透過對話稍停給與理由,以及總結事項,避免重複使用關鍵字詞感到欣慰,因為自己過去在教學時就是使用這些方法,不過對於離題問題在各式教學中也會發生,不見的是要結尾時才會出現此情境。而學生助理A表示文字描述因為有ICON輔助,因此透過列點搭配ICON輔助重點讓文字具有層級已及清楚告知(圖5)。

圖5、情境二易用性測試回饋
圖5、情境二易用性測試回饋

3.3 情境三【如何協助星兒加入討論】

老師將你和星兒分到了同個小組,一起討論下下週要報告的內容。雖然大家討論得很熱烈,分別說出自己對於文本的理解,但你觀察到星兒都沒有發言⋯⋯你想讓星兒也參與在這次的討論裡,發表一些自己的看法⋯⋯

情境三易用性測試
情境三易用性測試

透過團隊設計的聊天機器人中,兩位學生助理皆表示原先加入討論的字詞描述不精準,在初步看到原型時不清楚是要針對星兒還是同儕來進行加入討論的引導,設計團隊最終修改為【讓星兒加入討論】以及【讓組員同理星兒狀況】字詞方便使用者辨識,也經由這樣的原型測試,能夠讓團隊在發現問題時,第一時間修正此項目讓使用者誤解之問題(圖6)。

圖6、情境三易用性測試回饋
圖6、情境三易用性測試回饋

3.4 情境四【自我壓力太大】

跟星兒相處的這三個月以來,花了很多時間精力和星兒相處,你覺得自己壓力太大、有點喘不過氣了。但其他人不太能理解這個狀況⋯⋯你想試著讓星兒理解自己感受和需求⋯⋯

情境四易用性測試

根據這樣的原型設計,兩位學生助理反而有不同看法,學生助理A認為幫助會稍微有限,因為過去自身五個學期的經驗反而會覺得有了這樣的機械式輔助外,更應該能夠成立支持性社群的方式來進行支撐以及給予協助。而在學生助理B因為只有半年經歷,因此時常發生壓力太大以及無法因應在不同場域中星兒所面臨的技巧,也在原型中發現原來自己能夠表達自己的感受,學習到這樣的新知能應用到未來發生相同問題時派上用場(圖7)。

圖7、情境四易用性測試回饋
圖7、情境四易用性測試回饋

四、初步設計驗證結果

設計團隊在製作聊天機器人原型時,當初發現過於機械式的問答方式反而無法好好的盡到作為陪伴者的功用,也因此在初期找很多設計聊天機器人的方法後,發現市面上商業導向的聊天機器人都要求快速結帳,商品出貨速度越快越好的形式,而這些並非是本專案適用的方向,而相對的研究團隊在後來找到相關的文獻中,透過人性化的聊天機器人設計,需要重視所建置的機器人個性、品牌形象、品質資訊、系統資訊、互動性及使用意願等較為人性的事項,經過迭代調整後才成為原型的樣貌。

綜合以上,兩位學生助理皆認為透過這樣的設計方案能夠讓平常會遇到的學生助理能夠有適當的協助,並且提供符合校園情境的設計,也在操作原型之後,提供需要增加選項、索引、聯繫單位等方式,雖然是比較適合針對菜鳥學生助理(如學生助理B)提供協助,但也或許能夠推廣至一般大眾上因應技巧,比起單一的聊天機器人原型,還可以串聯到互動的社群來提供完善的交接體制為佳,最後,希望能夠透過這個品牌建立的機器人,加入更多專業人士協助以及安排教育的工作坊形式,完善這些情境的索引功能等。

圖8、易用性測試回饋結論
圖8、易用性測試回饋結論

五、後記與結語

開發聊天機器人發現其限制以及運用思考層面必須想得更細緻。包含像是字詞關鍵字養成,如果想知道時麼是星兒議題,其關鍵字可能就需要放入更多相關字詞,如 : 什麼是星兒? 什麼是自閉症? 自閉症是什麼? 為什麼叫星兒?……等字詞養關鍵字層面來進行(圖9)。

圖9、實際需要透過更有智慧輸入關鍵字方便用戶搜尋
圖9、實際需要透過更有智慧輸入關鍵字方便用戶搜尋

其次,關於聊天機器人的串接邏輯上也需要有計畫性的規畫以及盤點,若擬定好的因應措施,若哪天突然要加入新的需求以及新的議題,營運團隊該如何添加,需要加在第幾個階層以及內容呢 ? 這都是需要每個類別以及類別間分類、分組需要設想之狀態(圖10)。

圖10、實際需要更有價購方式來去作出不同問題之層級關係
圖10、實際需要更有價購方式來去作出不同問題之層級關係

最後,串接到用戶的資料也是一大重點,必須在聊天中留下用戶資料,間接才能夠將其資料寄送給消費者,以及更多串接功能,如最新消息推波、活動公告,甚至串接到不同社會機構進行交流等都是可以運用延展的情境(圖11)。

圖11、將來如串接到網站上使用,或是建立MAIL回傳留下會員系統都是可以運用方式
圖11、將來如串接到網站上使用,或是建立MAIL回傳留下會員系統都是可以運用方式

總的來說,當時團隊初步設計驗證後對於學生助理來說,這個原型能夠在教學現場或是實務上帶來實際幫助,也在操作原型時同時有被支持、鼓勵的正面感受。透過初步驗證可見此原型設計具有成效,但因受疫情所擾因此無法訪談找到更多學生助理來進行測試,而在下一章節,筆者將繼續撰寫由完成原型後,透過準備期末成果發表向學、業界發表之後的結果,以及後續持續訪談資源教室老師及相關服務性社團之回饋,拓展更多外部資源,敬請期待。

感謝你/妳花時間讀這篇文章,若能幫助到你,可以給「拍手鼓勵」喔!

1. 拍「10-20下」:表示你喜歡這篇文章,能從中理解了議題!
2. 拍「20-30下」:表示給團對最大的鼓勵與支持!
3. 拍「30-50下」:表示你覺得這篇文章有趣、有幫助、很可以!
4. 拍好拍滿「50下」:表示分享這篇文章能夠在您未來執行專案時提供幫助!且十分有貢獻的一篇文章:)
參考資料昝亭瑜(2020)。探討聊天機器人個性化對使用感知與意願的影響。國立臺灣科技大學設計所,台北市。范蔚敏(2020)。聊天軟體機器人技術應用於大學圖書館虛擬參考諮詢服務建置過程與評估研究。圖書館學與資訊科學,46(1),4–31。
關於這個系列文章介紹五位來自不同領域,橫跨視覺設計、設計研究、社會學、歷史學、人類學、社會工作、商管領域人才聚集於此,於 2021.05~09 四個多月,總計投入至少 250 個小時,共同進行團隊建立後,以隱性特殊需求為主題,探討在隱性需求的學生族群以及在身旁協助的學生助理有何社會問題,如何透過社會學以及使用者經驗視角共同洞察出問題,再共同透過設計思考方式發想並執行後初步驗證過程,以下章節就讓我們看下去吧!
  1. 【執行前期準備】 社會設計是什麼? 怎麼做? 入門前期準備六步驟!
  2. 【議題搜集上篇】 三大社會設計問題理解議題怎麼探索?
  3. 【議題搜集下篇】 4點探索社會設計議題?
  4. 【定義核心問題】我們該如何 (HMW) 定義社會設計主題?
  5. 【設計原型製作】運用社會學與設計學的 ”社計” 得出綜合解法!
  6. 【初步設計驗證】 從易用性測試檢視設計成果!
  7. 【階段成果發表】關於社會設計專案的收尾與結語
❤特別感謝【指導老師及助教群】本專案為國立臺灣大學社會學系所109–2開設之《社會設計:理論與方法》陳東升老師教授與指導,並由搭配三位課程助教林采鴻(荷蘭鹿特丹大學都市發展研究所)、陳怡蓁(台大城鄉所)、劉彥岑(大梨設計事務所共同創辦人)共同協助課程指導。專案內容由洪琪晏(台大社會系)、林安柔(台大工管社會系)、梁鈞為(台大人類社會系)、彭宣玶(台大歷史社工系)、楊博智(台科大設計所) 共同執行議題探索、設計調研、原型製作、設計驗證等事項。❤感謝課程專案五位業師的指導與建議,按姓氏筆畫排序。我們設計事務所 吳漢中創辦人
為台灣而教 施惠文執行長
數位外交協會 郭家祐創辦人
台北護理大學 陳正芬教授
全國社區大學促進會 楊志彬秘書長
❤感謝提供專案回饋的資源教室老師,按姓氏筆畫排序。國立台灣大學 陳嘉桓 輔導老師
國立台灣科技大學資源 歐庭 輔導老師
感謝所有專案過程中受訪學生助理,所有寶貴建議都成為我們迭代的養分。
2021春夏 國立臺灣大學社會學系 社會設計:理論與方法課程

--

--

boooozhi
Social Design  You And I

現於 Web3.0 擔任UIUX用戶體驗、UR 研究員角色,透過定性和定量研究橋梁搭起社會、心理、商業服務創新於專案中,深層挖掘厚數據來理解用戶及消費者,彰顯設計價值。