捷運盃黑客松參賽心得｜非業界的設計團隊如何打進決賽？（中）
2023.08.03 更新：原本分上中下撰寫，最後一篇打算著重寫簡報準備及團隊合作的方式，其實下篇在中篇寫完後一週已經差不多完成，不過當時聽了冠軍組的策略分享，加上聽了其他一些講座等等，我覺得自己現階還有蠻多不足，無法寫出這方面更有策略或觀點的經驗分享，因此決定不發下篇了。
原本分成上下篇，寫著寫著，易用性測試就自己獨立一篇了！我和組員都是第一次做易用性測試，因此我想透過本篇文章的覆盤紀錄過程學到的東西，也希望對一些測試新手有點幫助！
捷運盃黑客松，今年是第三屆，相較前兩屆的創新主題，今年的題目聚焦在「台北捷運 Go App」的 UIUX Redesign，這也是我參賽的主因：累積具有可看性的作品集。今年的報名隊伍將近 180 組，入選決賽有 12 組，冠亞軍團隊似乎都有業界設計師，而我們團隊由四位 UIUX 初心者所組成，幸運拿下季軍，相信有很多也想轉職的朋友報名參賽或者動了參賽的念頭，我想藉由這篇參賽心得文，分享非業界設計師打進決賽的策略。
【本文段落】
🥺 寫在前面｜不會怎麼辦？請教專業！
-------------------------------------
1-原則｜五顆星星的重點：測，快測！不要拖！
2-原則｜搞清楚你的測試目標，質化與量化分開
3-質化數據｜具體使用了什麼方法？
4-大哉問｜利用數據顯示解決方案「提升」了體驗會更有說服力嗎？
5-任務設計｜認真看待你建立的「任務」
6-準備測試｜打造順暢的測試流程
-------------------------------------
🥺 寫在最後｜入圍獎金，你會拿來犒賞自己還是做讓比賽勝率提高的投資？🥺 寫在前面｜不會怎麼辦？請教專業！
礙於團隊沒有人有做過易用性測試的經驗，因此我找了 Kathryn Wang 諮詢，三月底就和 Kat 敲定時間。
恰巧隔週 UBC 的 Google UX 讀書會討論到易用性測試的單元，我除了認真上完 Google 課程、做完小作業外，還藉此機會大問特問 UBC 的飛行導師一番，但說真的，一切都是落地實作才知道問題在哪。
無論是 Google UX 課程或向 UBC 導師們提問，都讓我更知道如何準備一場易用性測試，不過身為測試的菜菜子，還是有非常多模糊和需要調整的地方，所以諮詢真的是超級有用，也讓本次的做中學變得更踏實落地一點！
1 - 原則｜五顆星星的重點：測，快測！不要拖！
從時間軸可以看到，我們是4月初開始準備測試，這絕對是我的決策錯誤（含淚），怎麼說呢？
我們在初賽準備時，對於核心功能的一些操作就有蠻多舉棋不定的地方，三月進入更細部的 Wire Flow 頁面繪製，團隊四人分別負責不同功能，同樣的流程問題討論好幾次，途中也有換人發想不同解決方案、進行數次迭代，我當時就有提到需要找用戶做驗證，這時問題就來了，四人發展 Flow 的進度不同，是要一次測？還是分階段測？如果分階段測是不是又很耗費人力？
由於初賽實在太壓榨大家，一直到公佈入選前，我在專案管理上比較鬆，也是剛好這期間遇到蠻多連假，大家各自有安排，無法要求所有人都投入時間執行專案。（繪製完時間軸後，我也在反省是不是那個階段太放風了？但我也認真覺得那可能是當時最好的安排，PM 真的不好當QQ）
總之，後來進入測試階段，原型大抵都是在 Mockup 的情況下，因為決賽要求原型完整度，有時程壓力，說實在後續可調整的幅度不高。
諮詢時 Kat 幫我們測試，就提出「產品定位」的問題以及在許多操作抱有疑問，決賽當天看到各組的提案後，我也才發現，我們的提案太基於北捷現有的模式，其實可以再更突破框架一點。我自己反思，我們應該早在卡住時，就先「拿各種解決方案的 Wireflow 去多做驗證」，畢竟自己討論也只是卡在同一個心智模型中，根本不用在意分階段測的問題，就近找熟人測就好，哪怕只是一位受測者！
警惕自己永遠記住快速測試、小步迭代的重要！
2 - 原則｜搞清楚你的測試目標，質化與量化分開
① 量化思維的陷阱
前一篇才說到量化問卷的陷阱，到了測試階段，我們又落入量化思維了⋯⋯雖然打入決賽很開心，但我們也開始憂心：沒有數據該怎麼辦？這也是許多人做作品集時很困惑的問題：質化怎麼說服別人？
因此我想，既然都要做易用性測試，那應該可以順便收集一點數據吧？（果然是菜菜子的無知R，想當初在產品營做訪談招募問卷時我也是這個想法⋯⋯），就是這個想法害慘團隊了QQ 一旦思考到數據搜集，就會開始設想專案的完整程度，陷入無限循環。
② 目標先行，研究基於「你好奇的問題」
前陣子聽 Unblock 的作品集健檢直播，有人問到「易用性測試需要使用什麼指標嗎？」分享者 Joanne 回答：「Testing 時如果是為了『了解狀況』就不需要，在做 Impact 的時候比較需要」。我們確實是希望能展現設計方案的 Impact，因此想收集數據，但這是基於「比賽」的立場。
提供給 Kat 的問題集，我也問到指標的問題， Kat 進一步詢問：「執行易用性測試的主要目的是什麼？」這真是突破盲腸的一問，對啊，竟然只想著要收集數據，而沒清楚目的是什麼。這跟盲目做問卷一樣嘛！（實在太無恥惹嗚嗚）
那目標是什麼？其實我們比較是抱持著：「有把這個優化的原型給其他人使用過，而不是只有自己埋頭做」的想法，另外也是想知道，目前的解決方案用戶是否能理解？其實這個想法是更偏向「探索型」而非「指向型」。雖然實在太晚才「探索」了⋯⋯(哭倒在地 Again）
3 - 質化數據｜具體使用了什麼方法？
① 從 SEQ 的前後對比，深入探究受測者的「Why」
我們原先想使用 SUS 量表，Kat 建議我們使用 SEQ（Single Ease Question ），因為 SUS 是針對整體產品，而我們的目標是確認核心功能的操作易用性。SEQ 分為七個評級，1 分是最困難，7 分是最簡單，進行的方式是：在任務前後分別請受測者評分任務的難易度，並說明為什麼。這種對比的方式很容易讓我們理解「想像的落差」，可以針對分數落差較大的部分進行確認，受測者在操作前覺得簡單的任務，操作後卻打低分，是哪裡阻礙他？若是反過來，也可以進一步詢問受測者，我們做對了什麼，讓他認為變簡單？
② NPS 淨推薦值
在易用性測試後，詢問受測者推薦給親朋好友使用的意願，具體的提問是這樣：「從 0 到 10 分，您有多高的可能性向您的親友推薦這個 app 呢？」。不過我們並沒有在簡報中呈現 NPS 的結果，因為我們五位受測者中，有四位給了8分、一位給 6 分，最終的分數是負分。
不過之前 Soking 在課程上也有說到，NPS 數量會和一次服務的用戶規模有關，想提高 NPS 的數據可信度，也需要看填寫的受眾規模，而若是要跑相關性分析， 30 份以上可能比較理想（這裡就太超出沒有實務經驗的我的能力範圍惹！）
我自己覺得，NPS 有點難確認偏誤，即便有些受測者回答：「覺得蠻實用的，會推薦給常坐捷運的人」，我們也很難知道他們的實際行為會是什麼。給 6 分的受測者提出很具體的原因：「只會推薦給交通迷或喜歡研究 App 的人，如果不是有特別的優惠或帶來更多價值」，我認為這恰巧道出其他受測者給 8 分而非 10 分的事實：「這個產品對我的價值有沒有高到值得推薦？」 不過，事實上我自己也沒有那麼多「推薦 App 給其他人」的生活情境，要我回答這類問題，我可能也會說出一個和我實際行為有落差的答案。
當然，NPS 沒拿到 9、10 分也沒那麼悲觀，更不需要覺得受測者都會落入討好偏誤而難過。進一步詢問原因，有蠻多受測者會告訴我們「特別喜歡哪些地方」。這帶給我的啟發是：我們真的很難單從數據中探究原因，未來若有需要做 NPS 量化，我會更謹慎看待數據的可信度。
4 - 大哉問｜利用數據顯示解決方案「提升」了體驗會更有說服力嗎？
因為實在有點難找到深度用戶，我們的受測者是找身邊的親友、新舊用戶混合，因此我向 Kat 提出兩個問題：
- 新舊用戶混合測試會影響結果嗎？
- 如果是新用戶，有需要額外請他們使用現有的北捷 App 做對照嗎？
針對第一題，Kat 表示，這取決於改版的幅度有多大，但易用性測試關注在「易用性」本身，無論是新舊用戶，都要感受到「好用」。
第二題我則在比賽後又問了 Kat 一次。因為剛好冠亞軍組別在簡報中都提出「優化後的數據提升」，彰顯「新的設計方案比現有的更好」，讓我感覺很有說服力。
由於想採集數據，所以在準備測試時我也思考到，坊間許多作品集都會用前後對比的數據，來顯示自己的解決方案提高多少滿意度。但我實在想不到如何做前後對比的測試，讓這個數據是有可信度的，尤其我們是新手，真的能確保測試的過程沒有引導受測者嗎？我們到底如何「取得真實數據」？Kat 回答：新用戶根本不知道舊的 App 長怎樣，拿前後版本做測試反而會造成更大的偏誤。而更實際一點，無論如何，都會提出「使用者體驗有變好」的論述，這是優化想達到的成效。
Kat 補充：如果是在同一場測試中對同一位受測者，用前後對比就容易產生偏誤，但如果是分兩組測試，一組都是使用舊版本，一組都是使用新版本，就能減少偏誤，那就有兩個對照數據。
不過，相對的，兩輪測試就需要更多時間。
老實說，我覺得新手的「數據」是最容易被質疑的，我自己看待許多數據也會思考背後的來源到底是什麼，雖然有數據佐證是好事，但沒人知道數據取得的過程是否有偏誤，這和量化問卷的概念是一樣的。我相信有很多實務經驗豐富的設計師，能盡量取得乾淨的質化數據。但我自己是還沒有這個信心。
回到冠亞軍組別在簡報中都提出「優化後的數據提升」這件事，我想有說服力的並不是數據本身，而是整體提案帶來的專業感。
5 - 任務設計｜認真看待你建立的「任務」
① 任務設計，讓受測者進入任務情境的小眉角
諮詢前我們有先準備第一版的測試任務，任務總共有四個，但任務彼此間沒有連續性，非常獨立。Kat 建議我們先給「Background Story」，為受測者建立身份，並且發想一個一連串的故事，任務和任務之間用這個故事去包裝。
以我理解，就是讓所有任務是在一個「使用者旅程」中，雖然是測試不同的功能操作，但可以包裝成一個完整的流程，讓受測者有循序漸進的感覺。
Background Story 也要注意和後續任務的關係，例如，我們提案的目標對象鎖定的是「學生、媽媽、上班族」三種身分，所以會找這三類型的人來測試，而我們原先給定的背景是「上班族」，可能就很難讓全職媽媽、學生進入情境，因此，後來改成比較 General 的「與朋友相約」的背景。
② 帶入情境外，也要思考到「線下體驗」
雖然任務設計本身迭代三次，但後續測試時，發現最後一個關於「優惠券」的任務設計會讓部分受測者有疑問。任務內容是這樣：「等待列車進站時，你看到了車廂關於『燒菓子』的優惠券廣告，剛好在你們約的那間餐廳附近，你很喜歡吃甜點，於是想領取這個優惠券並在用餐後兌換，你會怎麼做呢？」
這個任務背後隱藏著「線下到線上」如何軟硬整合，包含看到的廣告載體是什麼，是海報、車廂廣告還是一閃而過的影片？進入流程的形式會是怎麼樣的？掃 Qrcode 嗎？掃碼後是進到網頁還是 App 直接跳轉、亦或是到App Store？
其實不是每個受測者都想這麼多，有些聽到關鍵字，採取的動作就是在頁面尋找「優惠券」的功能，但有些受測者則會問：「那我要先打開相機掃 Qrcode 嗎？」、「廣吿長怎麼樣？」等等。在測試完後我覺得任務說明應該要更清楚地把載體和形式說明出來（雖然實際上，在行銷層面會有各種方式！）
這個功能是我們蠻後期才做且由我負責，當時就有設想要將「發現→看到→領取→兌換」的 User Journey 繪製出來，不過礙於時間關係，沒有做到前面線下接觸點的部分，只完成在 App 上點擊領取並兌換的操作頁面。如果能把前端也做起來我覺得會更完整。
也是這個任務設計，讓我思考到「線下」到「線上」如何接觸、應用，其實包含更多元的服務體驗設計。
6 - 準備測試｜打造順暢的測試流程
已經有蠻多設計師分享易用性測試的相關文章，完整的測試準備流程可以參考 Maxxie 大大的這篇，我主要會分享在準備測試時遇到的一些問題，以及菜鳥團隊如何讓測試流程更順利。
① 讓受測者口述任務說明、足夠的「破冰」
我們前測 SEQ 的評分蠻差的，這也讓組員們很受挫。我們發出 Prompt 的方法是：將文字傳到訊息給受測者，並由主訪者口述一遍，接著確認受測者是否理解問題。這位受測者之後表示，題目不難理解但需要時間套用情境，且因為怕做錯任務，會重複閱讀理解題目。同時，雖然這位受測者是組員室友，並由組員來主訪，算是熟人，我們也有在前面說明時先說一些「任務不是要測試能力」等等前言，但受測者還是有點緊張、會希望「能一次完美完成任務」。
針對閱讀題目的部分，Kat 建議我們：「把文字貼給受測者，讓他們自行朗誦」這個方法我覺得非常好，雖然只是小小的主從及感官上的改動、但可以讓受測者心口合一，也讓指令不像是「由主訪者發下題目」。
至於「怕做錯任務」這點，我們事後檢討，有兩個原因：
- 太快進入測試相關說明，沒有更多的「破冰」，前面多用輕鬆的口氣和受測者閒聊、幫助放鬆是非常重要的。
- 在受測者任何步驟做錯或者我們進一步詢問原因時，都不該彰顯過多的情緒，要站在更客觀且冷靜的角度訊問，「蛤？為什麼？」和「可以分享你為什麼這麼想嗎？」有極大的差別，語氣與用字都會影響受測者繼續任務的信心。
② 放聲思考法，如何說明更清楚？
這是易用性測試常見的方法，身為設計師的我們對於「邊做邊說」這件事很容易理解，但受測者大多沒有受訪經驗，在過程中其實會蠻常忘記「說出來」的，這時如何說明與引導是非常重要的。
💬 測試前說明，必須包含更明確的示範
我們最一開始的說明設計，只提到「在過程中可以把你看到的像是 icon 或是文字等等以及想操作的步驟說出來」，就算提及元件什麼的也很難讓用戶理解，所以一定要有明確的示範。
我們在說明前會先請受測者分享好螢幕畫面，故畫面是停在原型首頁的地方，這時就可以用首頁明顯的元件做示範，例如：「我看到上方有台北捷運，旁邊有兩個圖示，右邊那個應該是通知，我要點擊這個通知按鈕的，左邊的圖示我不確定是什麼，看起來有點奇怪」在示範時說明的具體、細節一點，讓受測者可以跟著你說明的內容找到對應的元件，透過這種方式，受測者也會同理到，這麼做可以幫助我們更理解他的操作過程。
🐥 在每一次開始任務前再次提醒
當受測者讀完題目、也確認題目理解沒問題時，由主訪者下令開始操作時，再多提醒一次受測者使用放聲思考法，且提醒的文字內容要明確。若受測者還是忘記、直接開始，可以禮貌性打斷。如果主訪者沒有意識到要提醒，參與測試的組員們也可以禮貌性的中途打斷，因為明確知道受測者在過程中的所見所想，是最重要的。
關於放聲思考法，Sojier 大大這篇：你所不知的放聲思考法實作細節，也很實用。
③ 測試流程 SOP 化：幫助沒有太多主訪經驗的組員順好流程
我們採用 SEQ 所以前後都要請受測者評分，有時主訪忘記就會需要紀錄的組員跳出來打斷，蠻影響體驗的。我們總共有五場測試，組員們都有擔任主訪的機會。我自己在準備主訪時，也將這些流程 SOP 化，除了訪綱以外，測試前後的說明，我都打上逐字稿，這樣可以減省組員們準備主訪的時間。
使用的工具是 Notion，善用 Toggle 將測試流程分成前中後，並將任務內容也用 Toggle 區分，這一 Part 測完就可以收合、展開下一 Part。
④ 便利貼紀錄：用方便彙整的方式
前面有提到我上了 Google UX 的課程，於是我也將課程提供的模板拿來改造使用，課程模板是 Google Excel，Kat 提到：「雖然 Excel 可以彙整所有內容，可是無法對照頁面」並建議我們，透過在 Figma 頁面下貼便利貼的方式做紀錄。這樣後續討論除了方便，也會直覺很多！
我們根據不同受測者區分便利貼顏色，並在最上方都加上日期及受測者身份，這樣在對照時會更方便，而便利貼可以從 Figjam 拿取，就可以根據編輯者自動更改簽名檔了，這樣能知道是哪位組員留下的紀錄。
由於我負責的是核心功能，留下的便利貼特別多，我在後續彙整的時候，還是將便利貼和頁面分開，可以將頁面用連結的方式訪在最上方，同時用白色便利貼紀錄後續決議更動及想迭代的內容。
🥺 寫在最後｜入圍獎金，你會拿來犒賞自己還是做讓比賽勝率提高的投資？
我想應該沒有太多人想到參加一場比賽可以拿入圍獎金請業師這件事，如果是以前的我，應該也想不到要這樣做。這個思維是我加入商業思維學院後有的，也是因為學院而上了柏鋒老師的理財課，懂得「有效投資」的重要。老實說比賽獎金不高（辦到第三屆還比前一屆縮水一半），我們本來也就不是為獎金而來，目標從來都是拿到最佳成績，不如拿這五千元請業師、找出自己的盲點以提高勝率，就算沒打進前三，也學到紮實的一課、還可以讓業師認識你，怎麼想都是CP值超高的投資。
因此我向隊友提出要請業師，原先預計請兩位：分別在「設計階段」及「簡報準備階段」。不過，找到願意讓你諮詢的業師本身不是困難的事，比較難的是釐清你在短暫的諮詢時間內「怎麼問好、問對問題」？也是回推到原先的目的：「為什麼想諮詢、要諮詢什麼？」諮詢不是在一個時間等業師上來幫你解決問題，而是需要先釐清好你的問題，也是讓諮詢更聚焦。其實這也很仰賴對整體專案的掌握、了解程度，我的做法是盡量提供完整資料、說清楚前因後果。
Kat 本身就是很樂於分享又超級用心的設計師，除了線上諮詢一個半小時的時間外，前前後後回答我們很多困惑、提供我們更接近實務作法的幫助。事後還不斷跟進關心我們的準備狀況！不管諮詢的業師是誰，我想只要用心準備、提煉好問題，都能從中學到非常多！
最後安利一下學院，如果你對商業思維學院的課程有興趣，歡迎點選一路的專屬推薦連結，入學成功後，我們都可以獲得 6 個學習貝，在學院中一起學習、一起變強 💪🏻
【 🥹 嘔心瀝血的寫作，需要你的誇誇 🥹 】
如果你覺得這篇文章還行，可以拍手 1–10 下
如果你覺得這篇文章有幫助到你，可以拍手 10–30 下
長按可以連續拍手，最多可以拍 50 下
謝謝你的鼓勵，好人一生平安，也歡迎回應交流！最後的最後，如果文中針對易用性測試的方法有錯誤或者需要更好的地方，非常歡迎大家留言反饋 🙏🏻！
