你的企業營運指標設對了嗎？設定關鍵指標常見的四大錯誤
定義營運與成長指標從來不是一件簡單的事，錯誤指標小則影響內部溝通；重則造成公司成長停滯、整體資源運營出狀況。
制定運營指標從管理階層、各個團隊領導、專案負責人、產品功能負責人都有機會參與。這邊整理幾個過往在制定與衡量指標時常見的幾大謬誤，供大家參考討論。
謬誤一、沒人知道定義的指標
大家應該常常聽到 DAU(Daily Active User), MAU (Monthly Active User)被不少人掛在嘴上，但當我問什麼是 DAU 的定義，很多人回答不出來。因為 Google Analytics 有提供這數字，但卻不知道其定義。
我才赫然驚覺不少人制定了指標，卻不知道其定義是什麼。那 DAU 到底是什麼呢？事實上，每間公司的 DAU 定義都不同；因為 「Active」活躍用戶，隨著每間公司的營運目標都會有所不同。
舉例來說，對於像 AsiaYo 這類線上訂房平台（OTA）而言，真正在意的 Active User 應該是有使用訂房服務的用戶，而非只是瀏覽網站或是打開 App 使用者。
又或是對音樂播放 App 來說，有播放音樂行為的用戶才是他們在意的活躍用戶、而非打開 App 後立馬離開的用戶。 如果音樂播放 App 定義 DAU/MAU 是「打開 App 的用戶數量」，會發生什麼可怕的事呢？
當 DAU 被定義為打開 App 用戶數， Marketer 可能會想那我每天發推播通知這個指標就會狂漲了啊！！！或是我狂買 App Downloads 廣告 DAU 也會狂漲。但上述行為可能對公司真正營運目標卻不會有正面幫助（如同下圖）。
舉 AsiaYo 自身為例，我們想計算平台回客率，得先清楚定義何謂「回頭客」。
或許聽起來很簡單，不就如果同一位使用者下過兩次單，第二次下單的時候就算回頭客啊？實際上我們整理資料時，發現幾種有趣現象(下述資料已被調整過)：
1. 跨縣市旅行 （同一個使用者，在同一天下了四張訂單）
2. 幫其他朋友代訂房（同一天內下單、checkin &checkout 也同天，分別下了三張單，訂了三個床位）
回頭從商業價值來說，消費者每次「旅程」是否都有用 AsiaYo 訂房才是我們想知道的重點。如果單純以訂單來定義是否為回頭客，會高估這個數字。
所以我們後續額外利用了各式欄位，像是 checkin 時間, check out 時間, 入住旅宿…去判斷是否為「不同次旅程」，進而判斷是否為回頭客。
好的營運指標，需有清楚定義、且與公司策略目標有強關聯性
釐清定義後，才過了第一關，接下來第二關是怎麼排除雜訊讓營運指標能真正體現運營狀況。繼續以 DAU 當例子，就算有明確制定 Active User 的定義，但也有可能碰到許多外部雜訊造成營運指標無法參考。
以遊戲廠商來說，假設 Active User 為有玩任一遊戲關卡的使用者，很有可能會發生因為有下廣告、或季節性因素造成有玩關卡的 Active User 提升，但實際上忠實玩家卻沒有增加（如下圖所示）。
上述例子是典型營運指標受各式外部因素影響而有大波動。幾種可能的替代方案，像是：
- 改計算第一次玩關卡 7 天後仍有繼續玩關卡的使用者數量
- 有進行到第 n 個關卡的使用者數量
- 以 retention co-hort 方式來看忠實使用者數量
謬誤二、Track Everything
第二個常見迷思是想盡可能紀錄所有使用者事件（當然另一種極端是什麼事件都沒記錄…），如果這麼做會有幾個缺點：
1. 事件名混亂，資料實質上無法達到知識共享
常見加了一堆事件後，往往只有當初規劃者知道其定義，但其他人無法有效運用對應資料。如果沒有統一規範與審核，情況會更加混亂，連帶造成溝通成本上升；更甚者有可能錯誤解讀資料。
2. 高額資料存放、運算與工程成本
資料存放與運算其實都有成本，越多的資料量成本越高。如果是自建系統處理 ETL, Data cleaning 等部分資料工程師會搞到崩潰。如果不是自建追蹤分析系統，而是用第三方服務 （e.g., Amplitude, Mixpanel）成本非常可怕。
當然有一派提倡由第三方服務自動收集，再事後定義事件與分析（e.g., Heap），但個人覺得缺點是：
- 事後定義，可能導致功能規劃者不會事先想好該追蹤的指標。每個功能在開發前，策略與數據指標都應該事先想好衡量方式。
- HTML, CSS 改變可能會導致前後資料斷裂無法延續。
- 細節想追蹤的 Property 等參數，常常無法由第三方服務自動捕捉到。
個人習慣是先制定使用者必經之路的相關事件，有額外需求再另外新增事件或額外 property 參數。
以 AsiaYo 訂房流程為例：搜尋結果列表 -> 單一旅宿頁 -> 結帳頁 -> 完成結帳，上述四步驟是絕大多數使用者都會必做的事件。如果事後發現其中哪一步轉換率過低，可再另外新增事件追蹤了解想知道的事 （像這類事件也可善用 Google Tag Manager 去新增與移除）。
同時在 AsiaYo 內部，每個功能開發前，從規劃 wireframe 階段就會先定義好功能目標與指標，並在設計稿上明確定義各個事件與參數名。
謬誤三、忽略前後脈絡
另一個常見的迷思是「顧前不顧後」，舉例來說在不同渠道獲取用戶時，有些人只會看 CPC （Cost Per Click）、卻沒有注意 CPA （Cost Per Action）。
如下圖所示，當只看 CPC 時可能會覺得 Partner A 是最有效的渠道；但拉長看 CPA 時，該渠道卻有可能是最貴的。
當只有看到 CPC 前端成本時會造成決策上的嚴重錯誤，將資源全部投注在 Partner A 上；但看到 CPA 卻發現 CPC 最貴的 Partner C 才是最有效的渠道。
這種狀況也常發生在 A/B testing 實驗中：
舉例來說，如果是更改測試 訂房 Call to Action 按鈕文字，指標只看「按鈕點擊率」是否有顯著提高，但沒有同時觀察「成交率」是否有提升。最常見的是第一步點擊率提高，但最終成交率卻是不變甚至降低了（原因是用巧妙手法去誘使使用者點擊，但並沒有真正滿足使用者需求）。
>> 更多詳細案例
謬誤四、加總之單一數字
是否常聽到上司跟你說，怎麼上禮拜使用者數量、或營收下滑了？去調查一下是不是產品出問題了，再跟我回報。如果你是 Product Team 一員，勞師動眾後最終調查常常是…因為連假關係、或是因為行銷活動所以相關數字下跌、上漲。
加總數字很容易會受外部因素影響，好比說行銷部門廣告量的多寡、季節性因素（暑假、過年…），就算你沒做任何事，數字對比上上週、上個月可能都會有懸殊的差距。
如果你是產品團隊，在意的是產品穩定度，指標設定上「轉換率」可能會比 Active User 、或是營收來的穩定。Revenue = Traffic * Conversion Rate * AOV當中 Traffic (流量) 和 AOV (客單價)，對產品團隊來說難以掌控，而轉換率是相對能監測並且能比較的指標。
好的指標通常會以「比率」方式存在
有發現嗎？當指標比率形式存在時，好比說點擊率、轉換率，是相對穩定的數字，也好比較。一個數字如果不能穩定的被比較，就很難被衡量成效。
以內容導購來說，撰寫內容的團隊 內容A： 1,000 瀏覽量 與 內容B： 2,000 瀏覽量 誰比較好？
實際上內容團隊或許更需要在意內容是否有得消費者歡心。如果單純以瀏覽量來看，無法比較內容誰比較吸引人；如果改以導購轉換率來看：
內容A： 1,000 瀏覽量、20 張轉單（轉換率 2%）；內容B： 2,000 瀏覽量、10 張轉單（轉換率 0.5%）
內容 A 轉換率 2% 的內容可能才是消費者喜歡的撰寫方式，而非受許多外部因素影響的指標 — 瀏覽量。一個無法比較的數字，不是一個好的指標。
*這邊並非說加總數字設立是不好的，加總數字還是有存在的必要性。但對於特定團隊，設立加總數字的指標要非常小心。
另一個常見案例是 Retention Rate，可曾有上司要求你提供 “一個” Retention Rate 數字。
Retention Rate 實質無法用單一數字呈現，原因是不同時間點進來的使用者 Retention Rate 都不一樣，硬壓縮成一個數字沒有任何意義。無法比較的數字在管理上沒有意義。
常見的 Retention 是採用 co-hort / survival curve 來呈現，會有兩個維度，一個是進入時間(縱軸)、一個是回來的時間點(橫軸)。
- 縱軸比率變高，代表的意義是產品服務功能在某個時間點改善了，所以比例變高。
- 橫軸比例變高，代表 存活/黏著度；其實就是 Survival Curve。
- 斜線比率，則是代表使用者在同一時間點回來，通常可能該月有舉辦什麼特殊活動。
以管理角度而言，產品團隊可能負責的是縱軸、橫軸；斜線則可能是行銷團隊負責的部分。
簡單總結，一個好的指標應該要有「清楚明確的定義、能夠被比較、連貫前後脈絡、先從重點開始追蹤」。
事實上，營運指標跟公司策略與組織架構更是息息相關，指標設立的不好可能會造成各自為政、產生本位主義，降低縱效。不過這又是另一大議題了，本篇就不先探討這部分 : p
【 To be an AsiaYor！AsiaYo 徵才 】
AsiaYo 成長快速，求才若渴。如果你勇於挑戰，樂於擁抱改變；如果你是聰明且具有野心的人才，歡迎你加入我們，和一群有趣的人做改變世界的產品！→ AsiaYo徵才
【 與 AsiaYors、業界高手們交流，只有在 AsiaYo MeetUp 】
我們需要的就是對新創、技術、產品開發有興趣的你，一同來到現場與我們交流、一起成長，就是 AsiaYo MeetUp 的最大使命！→ AsiaYo MeetUp
【 AsiaYo 玩樂隨心，住宿由我，您旅遊在外的好朋友！】
亞洲地區短租、民宿、房間分享最棒的訂房平臺，快去瞧瞧！→ AsiaYo
