ProductTank Taipei #23（中）如何找到合適的產品指標
若你還沒看過上集，可千萬不能錯過
看完上半場 Stanley 分享的北極星指標後，接著我們將顆粒度縮小，來聽聽看 Peter 面對「如何找到合適的產品指標」有什麼建議吧！
什麼是指標？
同樣的，Peter 也來個破題小知識，所謂的 Metric 到底是什麼？
簡單的公式一語道破！
- Goal：2020 年 Q4 的會員轉換率從 5% 提升至 10%
- Metric：會員轉換率
- Target：從 5% 提升至 10%
Peter 也簡單的分享了「指標」存在的目的：
「Metric 是用來衡量產品成功的指標，不只是用來做 Performance Review、KPI 而已，而是用來讓團隊溝通、聚焦，輔助決策的重要存在」。
上一場 Stanley 分享的北極星，指標像是顆粒度較大的 Objective，而 Peter 呼應於此，將顆粒度放小，來聊聊如何訂立出合適的 Metric。
Metric 其實有很多種類
指標就指標啊，還有不同種？
不同的單位，理論上也會擁有不同面向的指標定位，好比說「客服部門」的指標絕不可能跟「行銷部門」一樣，那在「同一個公司目標」的前提下，各單位又怎麼能準確的理出準確面向的指標？我覺得「先理解完整的分類」是一件非常重要的事情！因為那能知道你正處在公司的哪一個區塊。
- Business Performance：企業指標，常見即為營收、GMV
- Product Performance：產品指標，產品功能的使用率、活躍人數
- Customer Experience：客戶體驗指標，像是 Rating 類的使用者滿意度
- Operation Performance：營運指標，自動化比率、Downtime 等等
而除了分類之外，指標其實也有不同維度之差別：
- Leading Indicator：很快可以揭露市場反應，像是上線後的使用率
- Lagging Indicator：需要長期迭代累積的指標，像是產品營收
而上述這兩者的差異，我覺得關鍵在於訂立的時間點，盡可能「不要在產品的初期」只定義「落後指標」，因為市場是不等人的，等慢慢的驗證落後指標有沒有達成的這趟過程，很可能就失去了迭代所帶來的好處。
這些框架固然有名，但 Peter 也提醒大家這些 Metrics Framework 其實有個潛在的疑慮沒有被拋出來，那就是：
「這些指標框架隻字未提 Trade-off」
所謂的 Trade-off 是什麼？用軟體開發常見的金三角應該就能一目瞭然，同時用段白話文形容：
「小孩子才做選擇，我全部都要！」
「說這種話的才是小孩子，這世界根本沒這種好事。」
- 若要高品質和快速迭代，那就需要耗費高成本
- 若要低成本和快速迭代，那就不可能有高品質
- 若要高品質和低成本，那就會需要慢工出細活
面對 Trade-off 就是一段不斷取捨的過程，總會犧牲天秤上的某一方，但重點是這些 Trade-off 往往會被忽略，忽略 Trade-off 會是一件可怕的事情，因為某一面相正在走下坡，但卻「沒有半個人知道」。
面對 Trade-off 問題，該如何解決？當然，Peter 有想法與大家分享。
用對 Metrics Framework、選對 Metrics
Peter 打趣說他從「五洲製藥」的理念獲得了啟發。
先講求不傷害用戶、商業價值，再來談產品體驗。
Peter 分享了一套 Metrics Framework，有別於 Amplitude 或 Mixpanel 提出的框架，可以看到下述的框架內容多涵蓋了幾個面向。
- Ecosystem Metric：維持整體運作生態，公司高層訂立出屬於公司的北極星指標，類似於 Company Level 的 OKR，這也是整體流程的關鍵點，「必須要勾勒清楚公司及產品的定位、願景和策略」等等，如果連這個階段都脫勾的話，那也不必往下進行了。
- Goal Metric：基於公司及產品的願景和策略之下，下放到部級的目標設定，圍繞在 Product-Led Growth 思維下，因此這項指標是需要體現出「用戶價值」，成為 Ecosystem Metric 的領先指標。
- Operational Metric：接著就是更細節的拆解，找出具體事實能夠驅動團隊更往 Goal Metric 的方向前進。
- Counter Metric：將 Goal Metric 與 Operational Metric 攤平、透明化，從所有 Metrics 內找出潛在的 Trade-off。
框架有了，流程有了，還有細節要留意
１：Operation Metric 與成效的因果關係
你做了一件事情，成效提升，但這真的是因為你做的事情導致的？
一個常見的偏誤，數據走向與你做的事情成正比，就會覺得是因為做對或做錯了什麼事情，如果就此下定結論，很可能讓後續的操作一路歪到底。
Peter 建議可以透過攤開 User Journey 以及不斷的試驗（A/B Testing、使用者調查），重點是要找出「確切的因果關係指標」，透過數據及實驗佐證「真的」是因為做了這件事導致某一成效提升。
２：Counter Metric 天秤兩端的零和遊戲
凡事都是一體兩面，即使知道有 Trade-off，但仍然無法決策？
如前面所說「面對 Trade-off 就是一段不斷取捨的過程」，有些小撇步可以參考，像是 Facebook News Feed 及 Stories 功能競爭的是同一群用戶的眼光，兩個功能應該一起去討論出都可以產生貢獻的「一致性的指標」，至於該指標以哪個功能為重，就看誰可以產生的貢獻大。
另外像是資源應該放在 Revenue 和 Engagement 的取捨，應該檢視這是「短期或長期」的解法，不該因為短期的 Revenue 犧牲長期的 Engagement，以 Product-Led Growths 流派的主張，體驗好，營收就會成長，只看營收，成長會受限。
不同公司生態會有不同的情境
團隊應當最理解符合公司所需的天秤水平
３：Metric 和 Target 會在同一時間由同個人訂立好嗎？
聽起來很直觀，但就現實面來說應該是需要被分開的。
Peter 說「理解自己身在哪一個環節，是非常重要的」，大部分的團隊幾乎都是 PM 訂立好 Metric 和 Target，比方說「會員轉換率從 5% 提升至 10%」，但這個 5% 至 10% 的標準如果單方面由 PM 決策，很可能就會有盲點，因為這項指標很可能會跟其本身的 KPI 有關聯，也因此這項 Target 可能會被訂立的「很保守」。
Peter 分享 Facebook 的例子，PM 訂立 Metric，而由資料科學家來訂立此指標的 Target，透過準確的過往數據訂立出的 Target 才會是較為挑戰且有跡可循的指標。
總結
教科書教導理論，但往往相依的壞處需要體會過才能理解，透過 Peter 分享的 Metrics Framework，著實的能讓人看見指標之間的關聯全貌。
同時也再次呼應 Stanley 提的北極星指標四大要點，任何指標都必須要建立在清楚的公司或產品願景及策略的前提之下所制定。
當然，指標不會是固定不變的，指標理應是個持續滾動修正的活動指標！
Reference
- 如何訂立北極星指標 — 介紹與案例分享（from Stanley Tseng）
- How to Set Measurable Goals for Your Next Design Project（from Ran Liu）
- Leading and lagging indicators: what you need to know（from Becca Cattlin）
- About the North Star Framework（from Amplitude）
- How to Determine Your Goals And Metrics（from Mixpanel）
- Trading off Value, Quality and Time（from Chase Seibert）
- 五洲製藥 U.C.PHARMA — 經營理念（from 五洲製藥）
- ProductTank Taipei Fan page（from ProductTank Taipei）
筆記產出為非專業產品人士所撰寫，如有觀念偏差或錯誤，再煩請協助告知錯誤及訂正之；
筆記內容產出之來源皆會附上引用來源連結，如有誤用或連結失效也煩請通知作者修正之。筆記共筆作者：Denny Hsu
