還只會做SUS和易用性測試嗎？你該考慮搭配的介面設計評估方法：5Es、NPS與Kano狩野分析
易用性測試沒評估到的部分，你想到了嗎？
前陣子我在 UX/UI 新手村 Rookies Community 的 AMA 活動中觀察到一個有趣的問題：「學校教授的評估方法都是SUS和易用性測試，請問有沒有其他的評估方式？」看到這個問題我實在是心有戚戚焉，怎麼說呢？在執行過幾次產品原形測試之後，我發現只用學校常教授的那幾種評估方法，會有某些問題沒辦法被回答。而本文就是從這樣的觀點，來切入介紹為什麼大家應該考慮搭配5Es、NPS與Kano分析來進行設計評估。
如果你喜歡我的文章，請用推薦 ID【daniellee2309】免費註冊 LikeCoin 並在帳號設定中驗證手機號碼，只要按下面的拍手，我就能獲得一點點收入本文目錄：1. 常見設計評估方法簡介2. 為什麼易用性測試沒辦法完全達成設計評估的目的3. 如何在測試流程中導入5Es、NPS和Kano分析4. 善用假說思維與實驗設計執行更好的評估
常見設計評估方法簡介
Cognitive Walkthrough 認知旅程走查
CW 是一個常見的專家評估方法，也就是評估執行者與設計和開發團隊透過模擬使用者(通常是指 Persona)的心智模型與行為模式(來自於先前的研究)，體驗一次完整的產品流程，檢查在操作上是否違背使用者習慣。
Heuristic Evaluation 經驗法則評估
經驗法則評估法通常是使用 Jacob Nielson 在許多年前發表的十大易用性原則作為基礎(來自 Neilson 當年歸納執行 200 多次設計評估後的結果)，辨識系統介面的呈現與互動是否具備常見的易用性問題，不過評估專家可以根據產品脈絡調整評估標準或適當的增減原則，以給出更為精準的建議。
SUS（System Usability Scale）系統易用性量表
SUS 是 John Brooke 許多年前創造的易用性評估量表，因為是量表，所以需要有一定的樣本數量支持其效度。在所有易用性評估方法內，這可以說是最低成本可以取得結果的評估方法，過去有研究指出平均而言一個及格的SUS分數至少要是68分。
Usability Test 易用性測試
易用性測試會招募受測者來進行產品的體驗與操作，實驗人員會預先根據測試目的與研究問題發展測試情境與任務，請受測者在模擬的情境下完成任務。研究人員會觀察過程中受測者遭遇什麼困難，是否花了超過預期的時間，並且通常會搭配放聲思考法與測後訪談來搜集更多質性資料。
為什麼易用性測試沒辦法完全達成設計評估的目的
這個問題，可以先拆成兩個部分：1. 我所說的「設計評估的目的」到底是什麼？ 2. 什麼是沒辦法「完全」達成？
評估一個好的設計，會有哪些層次？直白一點說，我們要做設計時，應該不會只想做一個「易用性好」的產品吧？Don Norman 在情感設計這本書裡將大腦對於一個產品的認知拆分成三個層次：「本能」、「行為」與「反思」。其中行為層次所影響的感受就是「好不好用」，易用性的影響就在這個層次（也就是易用性不好，就不用談好用了）。
然而要讓使用者「受吸引」，進而「想用」你的產品，就不是易用性好就能達成的事。然而上述四種評估方法全部都是針對好不好用進行評估，也就是即使全部都做了，設計師也只能確保使用者在使用產品時不會遭遇困難，卻無法保證使用者是否會持續使用甚至想要使用這個產品！
而 5Es、NPS 和 Kano 分析就是我認為可以補足原本評估方法的不足，並且更進一步發揮評估流程價值的方法。
5Es 評估法
5Es 評估法的 E 代表了 Effective、Efficient、Engaging、Easy to learn、Error tolerant，Whitney Quesenbery 在整合各個評估易用性的方法後，提出了易用性的這 5 個維度，評估人員可以依此發展出質性的評估綱要，或者是量性的評估量表，並且根據每項評估標的各自的脈絡，調整評估的標準。
雖然這個方法依舊是在評估易用性，然而「Engaging」卻是在前面的幾個方法中沒有被考量到的維度：
A simple definition of engaging is how pleasant, satisfying, or interesting an interface is to use. All software has an emotional impact on users, though the importance of this dimension varies with the type of program.
— — Whitney Quesenbery
簡單來說，Engaging 將產品如何讓使用者想要使用、感到愉悅與滿足納入評估考量，這不僅是在評估維度上的一個啟發，更是可以行動化的評估方針。
NPS（Net Promoter Score）淨推薦值
NPS 作為評估忠誠度的問卷，在體驗設計行業中也會被用來評估「總體」體驗，總體所指出的是「介面」產品很可能只是企業提供給顧客服務中的一個環節，因此其實他的應用會比單純評估介面還要廣泛。NPS 表面上看起來非常簡單，就只有一題：
從0分到10分，你有多大意願推薦我們的產品給其他人？
然而施測者也能透過這一題得到的結果挖掘很多資訊：
- 一個總體體驗的評分
- 推廣者看見的產品價值
- 無法留存的批評者所遇到的困難
為何 Promoter 會被視為「忠誠」顧客的代表呢？「倡導」在行銷4.0的 5A 模型當中是最後一個環節，代表顧客成為了品牌的擁護者，同時成為顧客獲取的管道。而在流量池思維中，有了這些「存量」就能進行「轉化」獲利，並且再將存量透過「裂變」行銷拉新顧客，也就是說找到與培養忠實顧客在互聯網時代幾乎可說是首要之務。
由於 NPS 本身計算的機制，利用這個分數看待總體體驗會更加嚴格（很常是負的），然而分數本身只能作為一個指引，背後的意義仍然需要更深入的探究。嚴格的背後，代表著若能將批評者轉化為推廣者，以及透過推廣者獲取更多推廣者，就是能將體驗大幅度改善的設計機會；也就是說，透過近一步詢問推廣者為何推廣，以及批評者何以批評，以獲得設計上的啟發並制定優化行動方針，才是計算 NPS 分數的重點。
Kano Model Analysis 狩野分析
狩野分析將整體的體驗再精細拆分成各項服務的品質，以利評估哪項服務才是留住顧客和吸引顧客的關鍵，品質管理大師狩野紀昭（Noriaki Kano）博士透過提出此模型，來描述創造魅力品質之重要性。在實務上來說，Kano Model 也不僅是一個評估介面產品的方法，更可以應用到服務設計上。
另外，狩野分析有一個很重要的前提：品質管制 → 品質管理 → 魅力品質創造（在學校學品管也是這個順序）；也就是先求品質上要先達到基本要求，接著滿足客戶需求，最後才滿足潛在需求。
在此模型中，需求/品質被拆成 6 種：M 基本型需求/必要的（Must-be）、O 期望型需求/一維品質（One-dimensional）、A 魅力型需求/魅力品質（Attractive）、I 無差異需求/無差異品質（Indifferent）、R 不需要/反向品質（Reverse）、Q 有疑問（Questionable），並且在得出各項服務屬於哪一種需求後，近一步分析其敏感度，計算其正向影響力（SI）與負向影響力（DSI）以進行開發優先續評估。
總結上述評估方法，除了傳統上的好不好用，5Es 評估法探索了使用者會不會想用與持續使用，NPS 則帶出了存量找增量的機會，Kano Model 拆解各項服務的影響力，並且協助決定開發優先序。導入這三種評估方法，不僅能找到產品本身的改善方向，在商業與開發策略的優化上也有所幫助。
如何在測試流程中導入5Es、NPS和Kano分析
即使以往常用的方法無法滿足所有評估上的需求，卻仍有其重要性。我在此以前陣子在跨界超越競賽所做的專案中，我所規劃與執行的研究測試為例，描述如何以 5Es 作為游擊測試方法，並在不大幅變動測試流程架構的情況下，以 NPS 和 Kano Model 搜集量化資訊，並與 SUS 和易用性測試所得的結果交叉驗證。
產品簡介
我們的產品是 Drifter，幫助想要投資股票但從未行動的年輕小資族跨出理財第一步，學習如何成為生活的主人。
我們的產品特點包含以下三點：
- 遊戲化的方式學習繁雜知識，輕鬆無負擔
- 建立社群互動創造正向交流
- 累積個人知識庫
需求與市場現況
我們在年輕族群中鎖定了具有以下特徵的人物類型作為設計對象：
目標：
改善生活品質，不用大富大貴痛點：
・薪資低，工時長，曾用過僅存的精力上網研究股票，但因為資訊來源龐雜，在毫無金融相關背景知識的情況下產生畏懼
・不知該相信什麼資訊，會詢問有經驗的親朋好友，但友人之間的意見也會產生衝突
・覺得自己沒有能力篩選出有用資訊，因此自信心低落資訊管道：
IG限時動態、Line群組、親朋好友口耳相傳
同時我們檢視了目前市面上的數種相關產品的功能與優缺點，發現有以下幾點體驗缺口，同時也提供了我們機會。
・資訊傳遞多為單向提供
・知識傳遞與練習操作之間出現流程斷點
・輔助決策或提供建議的原因較為隱晦或單一
・缺乏個人化的彈性與內容以 5Es 進行游擊測試
我們在產品介面概念出來之後，就決定以 5Es 進行初步的概念驗證。在受測者的選擇上，我們直接在校園中找 5 位有投資意願但尚未投資或僅有些微投資經驗的學生進行測試與訪談。
在這個階段我們只有上圖中的10個介面(還有一個後來被砍掉的 Persona 常維)，透過描述產品概念、情境與操作流程，以 5Es 架構發展訪綱，提取初步發現。
當時測試完的發現如下：
受測者皆能理解產品主要功能之用途
“喜歡小知識，建立概念，增加信心”
“很感謝你們把這些資訊整合在一起”受測者皆很願意嘗試此產品
“介面乾淨整潔，有別於一般財經相關知識平台”
“介面很可愛”
“可以玩看看再說，第一次看到教學類遊戲很新鮮”多數受測者想要嘗試虛擬投資功能
“用這個app可以有練習的效果，練習中可以練習操作，並且強化對股市的知識，因此我認為蠻需要的”
“股票基金模擬遊戲會想玩”
我們發現，介面的可愛與簡潔風格是目標族群喜歡上產品的最主要因素之一，顯現在 5Es 當中產品的 Engagement 為我們的強項，使用者多數希望操作看看我們的虛擬投資，顯示我們的產品具備更多的機會幫使用者跨出真實投資的下一步。
正式測試規劃
在進行游擊測試之後，我們也整合評審建議在產品上做了部分修正，並且將互動原型製作完成，因此規劃了正式的設計評估流程。
測試目標：
・了解有哪些介面易用性問題並提出改善方向
・了解產品如何滿足使用者需求並決定開發優先序受測者招募管道：
・挑選Facebook前三大股票社團
・親朋好友彼此分享滾雪球受測者篩選條件：
・資訊管道包含親朋好友
・願意投資之金額與薪資比低
・對自己的投資能力缺乏信心
・缺乏投資經驗
・年齡介於20~35歲測試方法：
・易用性測試
・SUS
・NPS
・Kano Model
在常見的測試流程中，易用性測試會搭配 SUS 問卷，並計算 SUS 的平均分數看是否達到及格標準。然而 SUS 需要操作過後才能填寫，加上受測者基本上不會到 30 人(很常只有2~5人)，因此 SUS 分數在統計上幾乎沒有太大的意義，僅能夠透過訪談來補足其缺點。
我當時在規劃測試流程時，考量到問卷的樣本數問題，因此除了測試時請受測者填的版本，還另外製作了一份發放用的 NPS＋Kano 問卷，發放到 Facebook 社團中請大家填寫。在社團中回收的問卷加上施測時受測者填的問卷，總共有31份。
原本的測試流程其實並不會有太大的變動，因為我只是在 SUS 問卷後面再多加了 NPS 和 Kano 問卷，接著才根據測試過程中的觀察以及問卷結果進行訪談。
當時透過訪談我們有了一些發現，而下列幾點發現主要來自於 NPS 問卷或 Kano 問卷：
・受測者皆表示，遊戲化與可愛簡潔的介面讓他們增加了接觸股票知識的意願，並且同時也因此願意推薦給其他與自己狀態類似的親朋好友們 － NPS・教學內容與資訊設計會大幅度影響受測者對於教學品質與練習有效度的信任感 － NPS・花多少精力獲取遊戲代幣會影響其價值與意義，進而影響虛擬練習效果 － Kano・難以推測與顧問的互動方式，因此對於此服務存疑，但其中兩位受測者表示喜歡折價券兌換，因為是對生活上的直接回饋 － Kano
在推廣者的部分，再次顯示了符合 5Es 評估的結果，並且更進一步展現出這是我們的核心價值之一，同時在批評者的部分，除了受到易用性的影響以外，因為內容的品質與用字遣詞在製作原型時並未被優先考量，反而導致在測試時被受測者質疑學習品質，導致降低推薦意願。
我們的 Kano 問卷除了解答到底什麼功能才能滿足使用者需求，也給出了功能與機制上的一些改善建議，包含為何使用代幣進行投資所累積的投資經驗價值較低，以及在回饋上何者較為符合目標族群的特性與需求。
有趣的是當時我們團隊內部對於回饋究竟要是「兌換顧問服務」還是「兌換商品折價」爭執不下，沒想到在問卷分析之後結果還是差不多，然而在訪談時我們的受測者都偏好商品折價，因此最後採用的是商品折價券。至於問卷結果為何會是這樣，我推測是當時問卷投放在股票社團，接觸到的人可能都具備相當投資經驗，因此偏好顧問服務的人會比較多。
而根據這次測試結果以及評審建議，我們提出了最終版本的設計，我們重新設計了遊戲化學習中的遊戲元素，也更專注在「鍛鍊面對不確定性因素的心理素質」，以提升使用者在使用 Drifter 後，面對真實市場的能力。
善用假說思維與實驗設計執行更好的評估
本文簡單介紹了一些體驗評估方法與分析過程，並說明如何跟易用性測試進行搭配與交叉驗證。然而學習方法永遠只是學習的第一步，方法也遠不止這些(其實這當中也有很多方法並不會出現在業界實務中，但仍然值得參考)，評估品質的關鍵，仍然在於如何設定對的研究目標與問題，並提出假設，透過嚴謹的實驗設計找出洞察以驗證假設與回答研究問題。即使我相對許多步入這個領域的新手已經累積許多專案經驗，這些都還是我一直嘗試在精進的能力，希望本文能給大家一點啟發，一起朝更好的使用者研究員邁進！
如果你喜歡我的文章，請用推薦 ID【daniellee2309】免費註冊 LikeCoin 並在帳號設定中驗證手機號碼，只要按下面的拍手，我就能獲得一點點收入參考資料
- 5Es https://www.wqusability.com/articles/getting-started.html
- Kano Model（這篇超讚，是我在網路上找到最詳細的一篇） https://link.medium.com/5nkFyK9MMZ
- NPS http://www.bebit.com.tw/nps_introduction/
