NPS 使用實務與反思 (Quant UX Con 2023 分享)

source: Trustmary — What is NPS and how do you measure it?

Gogolook design team 的小規矩就是拿教育訓練經費去上課、聽演講的同事，聽完回來要做組內分享 😉。這篇文章主要是紀錄 Quant UX 2023 中幾份和 NPS 相關演講的心得與反思。

Quant UX Con

Quant UX Con 是一個分享全球性量化 UX 研究成果、職涯的研討會。研討會裡頭會分享的內容，包含所有 UX 研究中的量化方法和職涯發展。對這個研究領域感興趣的人也有可以盡情發問、交流的場次。

海外的量化 UX 研究滿多主要在做複雜的問卷，跟想辦法讓問卷的測量更準確。也有比較複雜的資料分析，類似產品分析師或資料科學家。可以參考 NN/g 先前寫的總覽文章 Quantitative User-Research Methodologies: An Overview。

本次選 Quant UX Con 2023 中三篇跟 NPS 有關的反思演講跟大家分享。

什麼是 NPS

source: Trustmary — What is NPS and how do you measure it?

• 題目內容：問使用者是否願意推薦我們的產品給親朋好友，分數劃分為 0~10
• 將回答 9~10 分的 Promoters % — 回答 0~6 分的 Detractor %，即為 NPS 分數

為什麼這麼多產品或公司使用 NPS？

• 過去研究說 NPS 與企業成長緊密相關，且「推薦」是客戶忠誠度的最好指標
• 和傳統滿意度調查相比，填答單純、回覆率高，更像是全面性的品牌滿意度指標
• 大家都在用，有 benchmark 可參考
• 可參考哈佛商業評論的文章：The One Number You Need to Grow

NPS 使用實務與反思

以下內容綜整下列三位講者的分享，Quant UX Con 會提供所有講者的簡報和錄影檔（三個月內可反覆觀看），但本次分享文只會附上直接提及的部分簡報截圖，不附上下載連結。

1. Noam Segal：Killing NPS（他甚至有一個網站叫 NPS is the worst 🤣）
2. Soph Pashtunyar：Time to leave NPS : Introducing a more sensitive metric, PPM (Product Performance Metric)
3. Anamika Suresh：Beyond NPS, the next normal，這個分享主要是關於建立穩定的指標系統，本次分享會提少一些

NPS 實務問題

1. NPS 問法是關於未來、假設性行為

講者認為這件事犯到調查研究的大忌，問受訪者尚未發生的假設性問題。演講中建議改成「你過去（一段時間內）是否曾推薦過」都還好一點。

2. NPS 忽略產品情境，總是會有你想推但不能推的東西

講者是男性，他舉了泌尿科當例子。就算你今天去看了泌尿科醫生，對他的治療非常滿意，你也不可能逢人就推薦泌尿科醫生 🌝

實務上在 Whoscall 也曾遇過幾位 NPS 給 7~8 分，實際訪談卻對產品非常滿意的使用者。他主要的原因是「要對方有需求才推薦」，滿多人在生活中遇過親友對騷擾電話毫不在意的狀況。

Gogolook 的另一個產品 JUJI 也有類似狀況。由於 JUJI 是小額貸款產品，多數使用者是不願或不樂意讓身邊他人知道自己正在小額貸款。

3. NPS 是不敏感的指標

在講者的實務經驗裡，產品有大的變更時，NPS 並不一定會隨之變化。

4. NPS 11 點尺度沒什麼道理（Noisy Scale），不等距、忽略中間項

在講者的實務經驗上，7 點尺度已經很多了，需要到 11 點的原因到底是什麼，並沒有明確說明。此外，NPS 計算單一分數，但並沒有每個點是否等距的證據。

講者也認為 NPS 的計算忽略 7–8 分的 Passives，其實滿浪費資料，也連帶忽略使用者態度變化的原因和狀況（例如從 Passives 變成 Promoters 的原因。他建議與其計算 NPS ，不如看 0~6、7~8、9~10 三個類型使用者的比例變化。

5. NPS 容易操弄

講者認為 NPS 有非常多可以操弄的空間，例如跳出 NPS 的時機就有滿大影響。如果產品總是在使用者成功時跳出 NPS，那分數肯定會非常高。

此外，當 NPS 跟績效綁在一起時，就滿常出現濫用情況。例如請使用者評 10 分給 $20 誘因之類。也會出現情勒使用者，請對方給高分的狀況。

6. NPS 是懶惰指標 (lazy metrics)

懶惰指標有幾個特徵：

(1) 過於簡化
(2) 忽略 user journey 每個階段的變化
(3) 沒辦法告訴產品團隊接下來該如何調整（我自己覺得這是最大缺點）

講者提供 HBR 的調查，其實有 40% 團隊沒辦法解釋 NPS 上升跟下降的原因。

Lazy Metrics 的特徵

41% 團隊不知道他們的顧客體驗指標變化的原因

如何調整 NPS?

1. NPS 3.0 的建議：改成 earn growth

但因為這塊調整跟財務比較相關，不太是在測量使用體驗，這邊就不多做說明，有興趣的人可以參考文章：Net Promoter 3.0

2. PPM (product performance metrics)

講者同時測量以下三個指標，實測 6~7 個月後認為跟 retention 有較好連結。

(a) NPS：做為 product adoption pride，不再視作顧客忠誠度指標，單純當作 user 有多願意分享。

(b) PMF：作為 product need，測量 Sean Ellis Test。

Sean Ellis Test：由知名成長駭客 Sean Ellis 提出，問使用者「How would you feel if you could no longer use this product?」，根據經驗，只要超過 40% 的人回答「Very disappointed」則代表產品很有可能已經達到 PMF，詳情可參考此網站

(c) SUS：只問 Ease of Use，改善易用性

PPM 的計算在講者之一的網站上有說明，這邊就不另外解釋。

3. 如何應用 PPM

下圖是講者測量 PPM 後如何應用的說明：

1. 先測量 baseline
2. V1 上新功能後：NPS 和 PMF 上升，代表功能做對了，可以加強行銷力道
3. 行銷活動後：NPS 和 PPM 總分持續上升、PMF 穩定，代表使用者的喜愛程度有拉起來。SUS 不太行，代表易用性需要處理，於是安排易用性調整
4. V2 改善易用性後：SUS 明顯提升，有達到效果。

以這樣不斷觀察產品改變後各指標的變化來調整產品，改善只看 NPS 不知道接下來怎麼辦的狀況。

組內分享完後，同事們就開始了「如果 NPS 看起來對產品幫助不大，我們是不是不要繼續測它了」的討論。

但我認為 NPS 被這麼多團隊使用，並非全然一無是處，而是應該看團隊的狀況和面臨的問題，再來決定要使用哪種體驗指標。

例如若團隊目前還沒有衡量使用者體驗的方法，目前主要靠 APP 評價或客服聲音來評估的話。也許就可以用發問卷、導入第三方工具等方法測量 NPS，初步掌握自己產品的使用體驗落在哪裡。

此外，在 NPS 分數後預留讓使用者說明他們選擇此推薦分數的原因（可設為非必填，多選題+其他或開放題都可以），讓團隊比較好掌握後續調整的方向。

而當 NPS 帶來的參考資料趨於穩定時，再思考如何擴展體驗指標的範圍、或研究更特定的情境，也是可嘗試的進階做法。