蝦皮產品分析 Lead 分享資料團隊如何在快速成長電商中提供價值？
講者簡介
📍 Eric Wang 目前任職於新加坡蝦皮總部，現為產品分析 Lead，有 8 年以上資料工程以及資料科學領域的經驗。目前他在蝦皮帶領 20+ 人的團隊，主要工作為開發 ML/causal inference model、領導實驗設計、與不同部門合作導入分析解決方案，以達到優化 Shopee App 的功能為目標。
摘要
📍 快速成長的公司通常是以業務驅動以及結果導向的，如果數據團隊無法找到自己的價值定位，可能會在內部競爭或外部災害（e.g. COVID-19）中被淘汰。在這次的 Meetup 中， Eric 將分享『 DA/DS可以提供的價值類型』、『團隊如何提供分析解決方案』以及『如何大規模的實踐分析解決方案』！
[2020/08/01] Meetup回顧
一、How does the data team deliver value in the fast-growing e-commerce company?
蝦皮成長快速，在東南亞和台灣已經成為排名第一的購物 App，擁有超過千萬活躍賣家，今年第一季的訂單就有四億筆，且每個季度繼續的翻倍成長。業務的涵蓋範圍也持續擴張，除了商城外，還包括了遊戲經營代理(Garena)、支付和貸款 (Sea Money) 等等業務。對於資料分析團隊來說，也必須在快速成長中持續的對公司營運產生價值。
資料對公司的價值何在？
今年在 COVID-19 籠罩下，許多公司紛紛縮減開支與裁減部分人力，據 Layoff.fyi 網站上公開的資料，美國地區 Data Analyst 和 Data Scientist 這兩種職位被影響到的數量排在 Top 5；在蝦皮，如果一個 Team 無法對公司的快速成長有所貢獻，也一樣會進行組織重構，因此明確了解自己的價值是很重要的。
二、怎麼了解自己的職位跟團隊對公司的貢獻？
圖的左邊是傳統上我們對分析價值的認定，隨著分析的難度越高(從敘述性的分析到預測型的分析)，帶來的價值也會隨之提升。
但實務上要回答分析帶來的價值，必須先反思兩個關鍵問題：
- 公司的核心業務 (Core Business) 是什麼？
- 資料分析和模型在公司的定位。
今年 Uber 和 Airbnb 等公司裁員時，CEO 們常常會提到一句話：我們要回到公司的核心業務 (Core Business)。 那麼我們怎麼看一間公司的 Core Business？ 答案是獲利模式，透過了解公司怎麼賺錢，就能了解資料跟業務的結合方式。
以 Banking 跟 Fintech 來說，主要的獲利模式會是 1. 利差 2. 投資收入 3. 服務的手續費收入。利差主要跟央行和大環境有關，資料科學的幫助有限。投資收入一般來說會放大部分在被動收入的債券，主動做投資配置的優化空間並不如專門做量化交易的公司，所以資料科學在 Banking 能夠貢獻的部分，通常會落在服務這塊。
而以蝦皮所在的 E-commerce 領域為例，除了獲利外我們更關注的是增長，包含 Order、GMV (Gross merchandise value，總成交金額) 以及 User Base 的增長，所以在選擇 DA/DS 題目的時候，你就要問自己的分析方案怎麼跟公司的核心連結起來，以及能夠為這些指標帶來什麼樣的協助。
確認完公司的核心業務後，我們進一步討論 Model/Analysis 的三種定位。
第一種和業務目標的連結是最明確的，也就是模型和分析就是主要的業務，例如貸款業務中的風險評分卡、或是自營業務中投資組合優化。
但大部分的人可能會遇到的場景可能是另外兩種：
第二種模式指的是，模型跟分析是核心業務的一部分 (Must-to-have)，例如電商產品迭代過程中的 A/B Test 與 Causal Inference 是不可少的；或是像廣告投放的業務，投放成效的好壞很大程度決定了廣告業務發展，在這種狀況下，分析與模型是讓這個業務可以做得好的大前提或唯一選項。
最後一種模式則是 Nice-to-have 的支援型分析。值得注意的是，一樣的 Methodology 或者模型，如果應用在不同的地方，可能對公司的影響也會差很多，像 Uplift model 如果是應用在 App 的 Push Notification 這類行銷成本不是那麼大的業務，對公司的貢獻在計算上就會不太一樣。
所以如果要衡量個人/團隊做的分析價值/模型價值，必須同時考量公司的核心業務為何、以及模型在整個業務流程中的定位類型。
三、了解自己的資料團隊在什麼定位，就知道怎麼貢獻價值
蝦皮內部的 analytics function 可以分成三種類型: Algorithm、Insights & Application、和在某些業務團隊下的 BI function。
- Algorithm 組的產出是模型，例如翻譯服務、圖片辨識…；他們會基於可以應用的潛在場景去提供 centralized 的 solution。
- Insights & Application 的產出則是業務單位跟分析單位雙方的競合結果，其內容包含 Reporting、Adhoc analysis 或 Modeling；大部分的方案都需要客製化以追求雙方共贏。
- 最後一種的分析團隊則歸屬於業務團隊底下，題目會限得比較細，而好處是容易落地。
我的組屬於第二種 Insights & Application，通常做的決策是針對整個東南亞來考量，當選定一到兩個 Local country 做實驗後，一邊要跟 PM 和Marketing 團隊去定義題目的範圍 Scope，另一邊也要研究如何提供不同的方案來客製化不同國家的需求。
四、案例分享：最佳化 App 首頁上顯示的 Circles
在 App 上有很多不同的 Campaign 要顯示，20 個 Circle 裡，用戶在第一頁只能看到有限的前 8 – 10 個，那我們該怎麼優化整體的 Performance？
在這個案子中，我們首先需要了解 PM 想要優化的 KPI 是什麼？另外限制是什麼？可以採取的 Action 是什麼？
舉例來說，PM 想優化的目標是所有 Circle 的總點擊數，但對 Local 來說，他們可能只想改善某些低點擊率 (Click-through rate) 的circle。
在限制上，某些 icon 是蝦皮固定需要顯示的，那我們就只能針對另外 10 個可以變動的 Circle 去優化；而在技術面上，模型問題其實相對單純，像是用戶點擊的 Prediction 以及後續的 A/B test，但如何把模型結果連結到不同 Circles Sequence 的顯示策略，需要額外定義 Evaluation Metrics 去最大化KPI。
提出初步方案後，就要用 A/B Test 去驗證方案的可行性。
A/B Test 可以説是 Product Improvement 的一個標準程序。然而在與不同地區合作的時候，除了本身的設計、也得評估在地的流量、確保 Local 的設定是否為正確。若 A/B Test 失敗了，得瞭解實驗可能失敗的原因，除了關注的 Metrics 之外，其他的 Metrics 是不是也有不同的變化。
這個 Case 做的 A/B Test 主要是把不同人群對應到的 Circle 用不同方式做呈現，控制組 (Control Group) 看到的是預設，實驗組 (Treatment Group) 則會根據過往記錄放在不同 Sequence 裡。
但同時我們不會驗證所有的 Sequence，這是因爲每個實驗組還是需要足夠的流量，才能在統計上面證明顯著性；以最終的實驗結果來說，我們只會針對能看到明顯提升的組別進行排序客制化，若效果一般的組別，則可以選擇做 Error Analysis 調整或是直接提供預設的 Sequence。
驗證完 PoC 的效果後，我們還會跟 Product Manager 盤點目前的 Working flow。找出 Work Flow 中間接分析方案之間的斷點；處理斷點的方式除了使用 Engineering Team 的 Solution 外，有必要的話也可以考慮自建。
至於如何從本地端把 PoC 應用到其他國家的在地端，第一步是需要瞭解他們有沒有類似的問題，對於分佈不同國家的蝦皮，他們有自己的經營方式，重視的項目，因此團隊得顧慮他們的痛點而調整，這樣才能讓他們接受新東西，但調整的代價、其中的權衡是要做功課互相討論，才能延伸到執行層面。
簡報的右邊是一個例子，我們這個專案的目的在於提升整個 Circle 的點擊率(CTR)，當試著使用到其他國家時，有個團隊提到他們主要的 KPI 在於提升 Circle 點進去之後的 Campaign 的 Order 數量，此時就必須評估是否能客製方案能進一步達成 Local 的目標。
當然在評估任何方案之前，我們還是會回到分析的階段去衡量是否存在用分析/模型提升的空間；右圖顯示了特定 Campaign 的 User Funnel，在通過Circle 點入 Campaign 的使用者中，有 40% 會繼續點擊裏面的商品，到最後購買的人不到 2%。但同時我們也發現最初進來的使用者有大約 1/5 的人在平台上購買與 Circle 內展示相似的商品，代表進來的使用者是有購買能力的，只是我們在 Campaign 上的選品不足夠吸引他們購買。所以我們就會在Circle Personalization 的基礎上再提供 Item Selection 的推薦方案，除了把合適的人導入到他們感興趣的 Circles，進一步提升他們在 Campaign 內下單的機率。
五、在 Shopee 的 Regional BI 需要什麽能力？
- 要能夠找出合適的題目 — 大多時候業務方並沒辦法直接提供具體的 Analysis/Model 題目，需要由 BI 擔任業務問題與分析方案之間的橋樑，找到 Analysis/Model 有價值的 Position。
- 建模與實驗分析 — 團隊中有各個領域的專家，但每個人至少要專精 e-Commerce Analysis、 Modeling 或 Experiment Design 其中一個領域。
- 與不同部門溝通協調的能力，包含組內在不同業務上的專家、業務方、以及 Engineer 團隊。
六、Meetup Q&A
- 新加坡和台灣的電商有何不同？
產品方面，台灣電商不主打 App 而專注在 Website。但如果考慮網站上的購物流程，會員通常只會在購買的前一步進行登入，這代表平台其實很難了解使用者；但如果使用 App，大多數 App 都是一進去就要求登入，並且登入後幾乎不會登出，如此一來，顧客在平台上的行為才得以被追蹤跟分析，而唯有你瞭解使用者，平台才能有更多深度的應用。 - 新加坡和台灣的工作文化哪裡不同，如果對於在新加坡工作有興趣，您有什麽建議？
新加坡工作文化偏向成果導向，其他時間很自由。老闆不會在意你此時在幹嘛、此刻在哪裡，重視的是產出，因此員工必須主動。語言方面，因爲新加坡有很多不同國家的人，他們的母語也不一定是英文，所以我認為語言能力只要能在工作上溝通即可，更重要的是你的專業能力。 - A/B Test常用什麽工具執行？
蝦皮的 A/B Test platform 為自建，細節不方便透露，但如果想看 Tech 細節可以參考 Netflix 或是 Uber 的 Technical Blog，當初在設計階段的時候我們從它們的分享中得到很多啟發。 - 做A/B Test的時候，是測完A，測B，測A…依據結果一直循環嗎？
完整的 A/B Test 平台，除了做分流、實驗中監控、實驗結束後的自動報表分析，還有自動 Toggle-on，以及監控後續的 Performance。 - DS在蝦皮是怎麼分工的？
看組織定位、以及 Stakeholder 是誰。例如你的組織定位是產生模型、產品，那通常是依據技術分工，如果組是 Insight 或是應用爲導向，那就以Stakeholder 的 Relationship跟過去分析落地經驗決定。 - 如何同時觀察網頁和 App的分析，會不會有很多沒有用的資料？
App 時代的好處在於不需要做太多身份間行為的串聯。但如果你負責的平台是基於網站為主，可能需要一個集中的服務去發放虛擬 ID，協助你做跨螢行為、以及登入前和登入後的串聯。 - 如何評估案子和團隊成員的表現？
每三個月會和每位 team member 做 1–1 對談；會談三件事情，(1) 過去三個月内完成的產品或業務分析 (2) 談長期專案的進度，這部分是質重於量，所有案子幾乎都以三個月以內為一個周期，所謂的品質不完全取決於落地，畢竟有時候業務端有他們的時程壓力，做為一個以分析為產出的組織，分析的深度跟品質更重要 (3)需要我協助的部分，包含在日常的分析中碰到什麼問題阻礙你完成任務，可能會包含資料品質、或是跟業務單位的合作模式…等問題。 - A/B Test 需要多久時間，Data Scientist需要會寫 A/B Test Code，分析結果以及做深入的研究嗎？
取決你設定的 Metrics，Metrics 對應的場景流量有多少，以及對業務方在意的 Metrics 在多大的變動量下認為是有意義的，綜合這些算出需要的最低流量，並考慮平台場景的日均流量估出 A/B Test 的時間，通常不會超過一周，大多在一周或一周内。但其實這塊我們已經整到平台內了，除了一些特殊 Case，大多時候不需要人直接去算。
想加入新加坡蝦皮團隊嗎？尋找適合的職缺：https://careers.shopee.sg/
筆記：Paul Lo、Lynus Hung
校稿：Eric Wang、Tzu-Yi Yen、Ji-Ying Lu、Jason Wang👉 歡迎加入台灣資料科學社群，有豐富的新知分享以及最新活動資訊喔！
https://www.facebook.com/groups/datasciencemeetup
