在商業環境中的 UX 體驗衡量指標

NathanChen
UXeastmeetswest
Published in
16 min readJun 9, 2019

本文適合(1)進入工作領域 1–3 年的 UX Designer/Product Designer(2)希望為自己的工作產出訂定價值衡量的 Anybody

好的衡量指標帶你上天堂,不好的衡量指標帶你睡…

嗨,本週 Nathan 與大家分享下一些在 UX 工作中,常會聽到的一些衡量指標專有名詞,有些或許是你常常聽到但不太確定的,有些則可能是你所在的領域或項目比較少討論的。

雖然在大多數的公司中,與中小型的設計團隊,採用快速定性的研究,可能是比較符合 CP 值的方式。但當產品、用戶甚至團隊具有一定規模時,關於量化指標的重要性,在 2019 年的今天想必已經不需要再重複敘述。

不太一樣或是常被誤會的是,對於設計師來說,多數在工作中使用的量化衡量指標,其實大多是圍繞設計工作的顯性部分,也就是可用性 (Usability) 上,而可用性工作其實只是 UX Design 的一環。

但, UX 畢竟是由商業環境中反推學術的一門職位。

如果僅僅只是將量化指標用在 UX Designer 的工作上,反而是自己自廢武功。不要忘記小至前端展現,大至商業策略,都可以是 UX Design 的範圍。

02 Five Levels of UXs ConversionXL

因此如何學習使用一些既帶有商業特性,又能體現用戶體驗的指標,是每個 UX 工作者,多少都要知道的。

“We are not design the UX,but we can design for UX”

另外,本篇主要在分享一些使用體驗橫標指標上的一些迷思,與介紹工作中常用的一些指標,至於如何透過這些指標幫助 UX Designer 在工作中提升重要性,來自證 UX 工作能帶來的價值部分,可以看一下 Nathan 以前寫過的一篇古早文。

關於數據指標與衡量的常見迷思

01 數據指標的使用,不符合 G-S-M 原則

當有一定的用戶後,結合常見的數據分析工具或內部團隊自建的數據埋點,網站和應用馬上就能出現許多可供分析的數據,似乎只要有這些數據,令人驚喜的洞察就會自動浮出水面。

G-S-M(Goal-Signal-Metrics)是 Google 提出的目標導向衡量模型,用來拆解用戶使用產品時的 設計目標-行為信號-衡量指標 的一種模式。

03 Google GSM Framework, Goal-Signal-Metrics

在商業場景中,所有的數據衡量必定帶有明確的目標,比如:透過觀察寬口轉化和窄口轉化,分析廣告投放效益以及 GMV 成本。甚至,如果僅基於這些觀察數據進行動作性的優化,沒有配合中長期的決策時,變化僅會流於短期效益。

02 顯而易見的數據指標,不代表就是有幫助的

一個數據指標容易監測與計算,並不意味著它對你的產品來說就是重要的。透過現在大部分的分析工具,可以很容易就監測跟踪成百上千的各種指標,而且分析的工具也層出不窮。新產品團隊往往因為能獲取大量的數據,然後就期望洞察自動出現,但往往不遂人意。

例如,網頁或 App 的 PV 數據很容易收集,但如果你的網頁或產品是屬於內容消費類型的,它就無法呈現用戶是否在你的網站消費內容(有效時長更具代表性)。高的 PV 或許是由市場廣告轉化過來的用戶,但對內容消費類的產品目標,肯定不是確定每個用戶到底瀏覽了多少頁面,PV 可能是衡量廣告效果的重要度量,但它並不是監測用戶參與度的良好方式。

如果你不確定你正在用的數據指標,是否有正向幫助的話。可以參考 AARRR 的轉化模型,來幫助自己梳理清楚核心的轉化鏈路。

03 單一的數據指標,對於效果衡量可能是模糊的

如上面所說相較於 PV、UV、DAU,用戶在網站或應用中的有效停留時長,可能更適合用來衡量用戶在產品中的參與度。

但停留時間越長可能是正面的,也可能是負面的。在電商產品類的轉化過程中,如果在關鍵的轉化節點用戶停留較久,可能意味著用戶因困惑、分心或挫敗而花費了大量時間。即便同時監測網站或應用的停留時長和轉化率,你可能仍然不清楚為什麼用戶參與度如此高,對於最後的成交卻沒有太大幫助。

這時就需要透過配合更細緻的數據指標組合,慢慢的定位用戶在操作步驟中的關鍵問題,並嘗試透過 A/B Testing 來解決。

04 正確的衡量指標,要依產品、企業本身而制定

大家常用的數據指標,並不一定適合自己當前產品階段或企業目標。

正常而言企業的主力產品,正是代表著企業主要的商業營利模式,因此在發布產品後要監測的各種衡量指標,通常在產品準備進入市場前,都已依照商業模式進行拆分。但在產品的冷啟動時期,這些依商業模式拆分的指標,很多時候無法反映出,企業的產品是否正在往好的方向成長。

比如 Saas 服務類型的產品,通常都會使用淨收入留存 NDRR(Net Dollar Retention Rate)作為主要的商業模式指標,但在前期用戶量少時,搭配 NPSPSAT 等類型的指標,才能夠好的回歸到 Saas 產品的服務體驗本質。瞭解企業目前提供的服務,對用戶來說是否是正向的,並且能持續增長。

04 大多時候,衡量指標並不會純粹與設計相關

在產品開發迭代中發布新功能後,數據可能會開始上升。產品團隊可能認為這是新功能的發布造成的,但銷售部分卻可能會將它與一項新的促銷活動聯繫起來,而 UX 團隊則可能認為這與他們的新設計相關。

這種場景在產品的數據到達一定規模時十分常見。真實情況是只能透過控制一些固定因子,來做更細部的 A/B Testing 拆分。但大多時候產品的迭代時間與開發資源,很難真正做到能明確確認是因為什麼原因。

因此結合前面所說的,各團隊在主要的數據指標中,配合其他輔助指標,甚至提取更與團隊緊密相關的個別指標,來了解在產品的迭代過程中,各自團隊做的決策是否是正向的。

用戶體驗指標,跟易用性和商業指標目的不同

下面就會介紹幾種工作中常用的,與體驗相關的衡量指標,部分指標在訂定的一開始,本身即包涵了商業與體驗維度。

工作中可能用到的幾種體驗衡量指標

大部分的體驗衡量指標,都會基於三個主要價值觀,結合其他用戶態度類型作為衡量基準。

可用性、參與度、轉化率 + User Attitude

下面介紹幾種,在工作中可能常用到的通用型,與不同業務場景型的體驗衡量指標。

通用型

01 傳統網站服務使用的 PULSE

PULSE 是基於商業和技術的衡量模型,被很多組織和公司廣泛應用於跟踪產品的整體表現。包含:

Page view 頁面瀏覽量、Uptime 響應時間、Latency 延遲、Seven days active user 7天活躍用戶數、Earning 收益

但不難看出 PULSE 指標僅覆蓋了 UX 設計中最最基礎的可用性部分,和衡量用戶體驗的直接關係不大,難以評估設計工作到來的影響,畢竟這個指標創建之初是用來衡量產品的技術與商業效果。

因此為了彌補 PULSE 指標中存在的問題,Google 提出了 HEART 指標模型。HEART 是 “以用戶為中心度量的指標體系,以及把產品目標與創建指標體系相互關聯的過程”

02 以使用者為中心的 HEART

HEART 其實也是業界使用的老黃曆了,尤其常用 GA (Google Analytics) / Adobe Omniture 的人一定都對他不陌生。

早期產品開發上線的階段,大多是訂定業務 KPI 作為衡量項目產出的價值,但在用戶體驗的部份,卻很難有可視化以可及量化的衡量指標。因此 Google 嘗試把產品目標以及體驗指標相互結合,建立以用戶為中心的 HEART 度量體系。

04 Google Heart 體驗衡量指標模型

Saas 服務型

01 NPS(Net Promoter Score 净推荐值

淨推薦值最早是由貝恩諮詢的創始人 Fred Reichheld 在 2003 提出,通過測量用戶的推薦意願,從而了解用戶之於產品或服務的忠誠態度。

NPS 算是近幾年用戶體驗領域上的當紅指標(甚至業內還有所謂的 NPS 教派 XD),基本上互聯網類產品都可以使用。其基本核心理念是,一個企業的用戶可被劃分為三類:推薦者、中立者和批評者。

01 推薦者是投入且重複使用產品的用戶,他們會熱情地向其他人推薦你的產品或服務。

02 被動者是對產品滿意,但缺乏熱情和忠誠度的用戶,他們很容易轉而投向使用競爭者的產品或服務。

03 批評者是那些明顯對企業的產品或服務不滿意的那部分用戶

相較於其他的指標,NPS 詢問的是意願而不是情感,對用戶來說更容易回答,且直接反應了客戶對企業的忠誠度和購買意願,在一定程度上可以看到企業當前和未來一段時間的發展趨勢和持續盈利能力。

02 CES(Customer Effort Score 用戶費力度

CES 指的是你的產品或服務,會需要用戶花費多少力氣才能滿足自身需求。

根據 Oracle 的一項研究,82%的人把他們的購買經歷描述為 “花費太多的努力”,CES背後的理論就是,應該想辦法減少客戶為了解決問題而付出的努力。 CES可以幫助你找出可優化的方向,更容易理解在哪裡進行改善,較低的費力度也與客戶留存直接相關,從而增加客戶的生命週期價值。

一般情況下,大多會先利用 CSAT、PSAT 這類的指標來衡量客戶對產品或服務的體驗反饋,當這套標準的價值到達臨界點時,就應該嘗試 CES 作為滿意度指標的擴充,更充分的評估 Saas 產品的用戶體驗情況。

03 FCR(First contact resolution 一次性解決率

作為 Saas 類服務型產品,在獲取新客或幫助舊客時,大多是通過客戶服務,在許多的互聯網公司 Customer Service 團隊也是重點投入資源的。而「FCR 一次解決率」即是用來衡量這類客戶服務的指標。

FCR 是指客戶的服務需求在第一次客戶服務中完全解決的占比率。

測量一次性解決率是相當簡單的。通過單次交互(電子郵件響應,電話,聊天會話等)解決你收到的客戶請求數量,並除以同一時期收到的請求總數。

一次性解決率不僅對 Saas 產品的客戶至為重要,也能體現客戶服務的績效和表現,甚至深入到每個員工的層面上。

系統性評估型

01 SUS(System Usability Scale 系統可用性量表)、QUIS(Questionnaire for User Interface Satisfaction 用戶交互滿意度

SUS 應該也算是用來評估單個用戶使用某個產品的可用性時,最常見的指標了。SUS 是一種用來量化定性數據的方法,並不僅僅依靠數據統計,需要結合用戶具體參與來進行調研,通常作為可用性測試的組成部分。

SUS 通常用來作為改版效果的整體評估,在使用時可以對題目的主詞產品進行替換,這些替換對最後的測量結果都沒有影響。

而 QUIS 則可以說是 SUS 的進階版,會更注重具體頁面或操作節點的易用性,通常作為 SUS 的延伸使用。比較簡單的 QUIS 版本包括 27 個問題,分為5個類別:

Overall Reaction 總體反應、Screen 屏幕、Terminology/System Information 術語/系統信息、Learning 學習、System Capability 系統能力

02 CSAT(Customer Satisfaction 客戶滿意度)、PSAT(Purchase Satisfaction 購買滿意度

客戶滿意度也算是經典的衡量指標之一了,隨著商業競爭的激烈,各類型的產品與企業都對客戶滿意度更加重視,很多時候你所熟悉的電話滿意調研、電子郵件調研,甚至直接在消費後的星級評分,其實都是關於這類問題的問券。

PSAT 則是在 CSAT 的基礎上,針對消費類型產品進行細化,強調售後使用體驗的部分。這類問卷的好處是簡單且擴展性強,可大至系統小至任務。

但缺點就是用戶容易在中等範圍內回答問題,無法給企業帶來真實的反饋。而且,即使在客戶滿意度很高的情況下,依然有可能遭遇留存流失問題。

因為滿意度並不直接與客戶忠誠度相關聯。

其他相關的系統性可用型指標當然還有許多,不過在工作流程中一般來說都較少會使用到,主要還是更具專業性的用研 User Researcher 角色較常使用,包含:

SUMI(Software Usability Measurement Inventory 軟件可用性測試)

CSUQ(Computer System questionnaire 計算機系統可用性測試

USE (Usefulness, Satisfaction, and Ease of Use 有用性、滿意度、易用性)

電商產品型

01 PSM(Price Sensitivity Measurement 價格敏感度測試)

PSM 衡量目標用戶對不同價格的滿意及接受程度,了解其認為合適的產品價格,從而得到產品價格的可接受範圍。

PSM 考慮了消費者的主觀意願,又兼顧了企業追求最大利益的需求。但測試過程主要基於目標對象的自然反應,沒有涉及到任何競爭產品的信息。所以在橫向拉通上顯得較為薄弱。

也正因為缺少對於競爭產品的分析,所以 PSM 目前主要集中在自成體系的產品鏈路中,用來配合 Saas 服務或虛擬產品的定價,在實體產品中已經較少被使用。

02 DSR(店舖質量評分)

DSR 算是電子商務類產品中的特殊指標,初期是在在阿里巴巴的電商生態中大規模使用,目前也慢慢變成電商場景的通用指標。

DSR 是指買家在電商平台上購物成功後,針對本次購物給出的評價分數。買家可以評分的項目包括「描述相符、服務態度、發貨速度、物流速度」4 項。

DSR 評分計算方法:每項店鋪評分取連續 6個月內買家給與該項評分的總和 /連續 6個月內買家給與該項評分的次數,統計最近 180天

DSR 評分直接影響賣家在電商平台中,商品搜索曝光權重的高低,從而影響商品與店舖的排名。因此對於平台類的 UX Design Team 來說,建立類似 DSR 的曝光評分機制,也是間接影響服務提供商的產品體驗,進而提升整體平台中的用戶體驗質量。

03 ZMOT(Zero Moment Of Truth 第零關鍵時刻)FMOT(First Moment Of Truth 第一關鍵時刻) SMOT(Second Moment Of Truth 第二關鍵時刻)

FMOT & SMOT 是目前新零售場景常會提到的指標模型,但其實在傳統的零售行業早就是一個通用的衡量指標,FMOT 指的是消費者在接觸到對應商品貨價的關鍵 3~7 秒,所有的商品售價、包裝、擺設都是在這關鍵 3~7 影響消費者拿取商品甚至購買的關鍵因素。

而 SMOT 則是指這類實體產品,在消費者購買回家後的首次體驗,是否符合這個商品的廣告語,對於一個品牌來說,即是是否成功地履行了它的承諾還是令人感到失望,這也是消費者是否會成為一個品牌的粉絲,甚至在線上或線下渠道分享的關鍵(是否很像 NPS 的精神?)。

延伸出的 ZMOT,即是線上線下結合的新零售關鍵指標,讓消費者在「尚未接觸」到特定商品前,就透過線上向消費者進行行銷,當消費者主動進行相似活動、搜索時,就能接收到產品的正面訊息來影響消費意向。

本質核心也就是

當廣告出現在用戶需要的時刻,就變成了服務

「Google ZMOT」的圖片搜尋結果
05 ZMOT & FMOT & SMOT

主觀評估型

用戶體驗的主觀評估,大多是偏觀察式的方法,也是大家比較耳熟能詳的用定性調研法,比如眼動儀、觀察法、品牌問卷… etc.。

當然如果要盡可能嘗試量化這類 User Attitude 主觀評估數據時,前提都是把用戶體驗理解成兩種維度,一種維度是實用性(Pragmatic)偏向常說的可用性,另一種是享樂性(Hedonic)也就是常說的舒適性,享樂性維度還會被拆分成了幾種屬性,例如 Stimulation和 Identification。

01 UEQ(User Experience Questionnaire 用戶體驗調查表)

UEQ 是 SAP 開發的一套定量分析用戶體驗的工具。用戶在問卷上表達出他們在使用產品和服務中的感受,印象和態度,然後生成一個包含用戶體驗數個方面的量化表。包括傳統的易用性方面的指標:

Efficiency 高效、Perspicuity 易懂、Dependability 可信任;

也包括三個體驗方便的指標:

Attractiveness 吸引度、Stimulation 激勵性、Novelty 新鮮度。

02 HQ(Hedonic Quality 享受性質量)PQ(Pragmatic Quality 實用性質量)& AttrakDiff

HQ 主要是用來消費型產品的情感衡量指標,較常使用消費者對於消費類型產品的評價。而 PQ 則主要是在易用性層面上加入主觀因素的評分,如果要針對性地對 HQ & PQ 進行系統性評分,AttrakDiff 則是一個較常使用的工具。

AttrakDiff 包含了 28 項題目,每一項都是一個 7 分制量表,最低分和最高分代表一對具有評價性質的反義詞,用戶需要根據使用產品過程中的某一方面的體驗從低到高進行評分,比如 “混亂的 — — 清晰的”,分數越高,表明產品的某一方面設計得越清晰。

寫在最後

在產品或業務中導入體驗數據衡量指標,不是新入行的設計師想像的這麼簡單。真正的實務過程絕不是將文章中的指標,直接導入自己對接的產品中,每一個數據指標都有其目的,且不同的人即便看到的數據相同,也都會有自己的解讀方式。

過於依賴指標,如果不隨時依據市場動態與公司策略進行調整,不僅容易因為短期的良好數據忽視了中長期的產品成長,也會慢慢的喪失設計師的感性創意能力。

所以,清楚的認知到哪個指標可以幫助我進行什麼樣的設計策略。才是真正的使用方式。千萬別讓設計師變成動作導向的工作職位,

Value-Driven 價值導向的工作模式,才是設計師的生存法則

謝謝大家看完,如果你喜歡這篇文章的話,也請記得贊一下喔!如果覺得寫道你的心坎裡,但也不要吝嗇用力點個五次贊!我們下次見囉 See ya~

-Nathan

--

--

NathanChen
UXeastmeetswest

Staff Product Design @Dingtlak.inc Alibaba Cloud., believe in design is communication, to User, to Product, to Company.