WiDS Taipei 2020 | Pinkoi 電商產品的資料科學應用-推薦系統、廣告投放 — 潘玫樺 Mei-Hua Pan
講者介紹 - 潘玫樺（Mei-Hua Pan）
📍玫樺，畢業於清大資工所，沈迷於文字與語言的她， 目前任職於 Pinkoi 擔任 Data Scientist，曾在中研院自然語言實驗室實習，從此開始踏入機器學習領域，將其應用在使用者行為分析和商品排序相關系統上，而在這次演講中，他分享了在Pinkoi的工作實戰例子，有邏輯的架構思維讓人受益良多，現在就讓我們一起來複習這場精采的演說吧！Pinkoi基本介紹
Pinkoi，擁有超過320萬個全權會員，專門販售設計商品、數位創作、體驗活動，並網羅海內外優質設計師群，堅持用好品味、客製化的獨特設計，實現每個人對生活詮釋的想像，也讓每個送禮時刻更加獨一無二，期許能讓亞洲迷人的好設計在全世界散發光芒，並創造一個讓生活更美好的設計生態圈。
Pinkoi工作文化
- 目標導向，價值優先
Pinkoi在意的是創造價值，切勿將工作當作交作業對待；同時，工作上講求務實，須根據現實判斷優先順序，在完美的產品與時間內取得平衡；最後，追求商業成功，在Pinkoi中，設計師與消費者都是他們的重要客戶，如何讓設計師能夠很順利的上架商品，如何能讓消費者很順暢的購買商品，都是他們持續優化的目標。 - 跨部門緊密合作，取得快速回饋
比起冗長的書面往返，在Pinkoi裡更多的是面對面的討論，他們相信在每一次的對談中都能激發出從沒想過的好點子，且透過不同部門間的腦力激盪，也能從不同的專業與角度共構最有效的解決方案。 - 資訊透明，數據公開
在Pinkoi裡員工隨誰都能知道公司當下的方向，正在跑的細節，甚至是專案細節，很多數位數據都是開放給全公司的，Pinkoi甚至在內部開了SQL課程，希望全公司都一起來學SQL，這樣若行銷跟客服需要，自己就可以寫SQL了（幫忙工程師省時間）
Pinkoi Data Team — 目標：創造自動化勸敗
資料，靠群眾力量的持續滾動
當資料累積越多，能優化的基底就越厚實，若有大量的使用在在Pinkoi上解決問題（可能是找禮物給女朋友、找相同風格的皮夾、找日本熱門款找可搭配穿著的服飾、相關關鍵字、快速上架，建議分類等），就能用這些已經解決問題的資料記錄來建立系統，幫助下一個使用者能更快更有效的解決問題。
案例一：推薦系統
Step 1： 產品部門合作
執行這個案子前，一定要和產品部門合作，要做哪種推薦類型，是要推薦相似商品，還是搭配商品？這在一開始就要決定清楚，若是版面位置則是要跟UI Team討論，是要推一個產品還是三個？四個？六個？討論的過程中會有很多想法都要收集起來，之後做 AB Testing會比較方便。
Step 2： BE、FE、APP合作
主體討論完成後則要去思考細節，像是最後要如何呈現在平台上，這中間的商業思維是非常重要的！以這個案例而言，當我們點擊Pinkoi的商品時（演講案例為貼紙），就會出現三款「為你推薦的相似商品」，且並不是相同賣家的商品，三款商品也不會是重複的設計館，為了就是希望能夠曝光更多不同賣家的設計，讓更多設計師能有獲利的機會；除此之外，也思考是否要改成一次曝光六個版位，讓消費者有種進入拍賣會的感覺，以刺激購買。
案例二：個人化專屬推薦
Pinkoi有一個行銷痛點：「消費者很難快速找到類似風格的商品」，如果今天想要做出一個系列主題推銷，總是沒辦法非常及時；因此在這個基底下，Pinkoi做了「主題企劃」欄位，可以隨時放上想推銷的系列商品；同時也做了「客製的好設計清單」，不同帳號看到的推薦商品都不一樣，會根據你過去購買或瀏覽的商品去做這清單的陳列。
案例分析：廣告投放優化
廣告優化大家都知道要精準投放，以及如何使用最少的預算達到最好的效果，在數位廣告上，你需要再使用者面前經過好幾次的曝光，他才會在最後到你的平台上去達成轉換，但其中有一個最大的問題就是，各個不同的平台上的曝光，其實是沒有辦法去達成整合，例如：明明在FB跟Google上都投放了10元，但同一個轉單，這兩個平台都會說這是他們的功勞，這在廣告的預算控管下是需要特別注意的事情。
精準投放：在精準和可觸及的人數之間需要取得平衡。
預算控制：跨廣告平台計算歸因非常重要，需要確實做好 utm tracking！
Pinkoi廣告投放技巧揭秘
對還不熟悉Pinkoi的顧客投放較昂貴的廣告（轉換廣告）；而對已經習慣使用Pinkoi的高價值客戶則投放流量廣告，讓他能時常想起來Pinkoi的存在。
(1) 如何區分高價值客戶？
使用RFM分眾，「最近一次購買是什麼時候」、「他過往購買的頻率」、「他花費多少錢」，根據這樣的去去挑選出公司覺得是高價值的客戶，但因為這種分眾都是用訂單去看，因此Pinkoi會再使用LTV x Engagement分眾去作輔助預測這個人未來的價值，因此對於這些未來可能會自己回來的人，就可以投放較便宜的廣告，提醒他們可以回來購買商品。
(2) 使用「興趣」投放
使用者回購預測：根據客戶買過的品類投放適合的類似或搭配單品品項
使用者喜好預測：根據客戶在網站上的瀏覽行為投放使用者喜好的品類
（根據Pinkoi經驗，這種投放廣告的效率比一般廣告高快兩倍左右，但因為這些受眾較小，因此對於整體營業額的佔比還是比較小。）
廣告投放的優化，需要科學化的試驗，結果才具有可解釋性，才能有優化的方向。你可以先從一個計畫盤點有多少渠道要去試，然後再去談想要達成的指標、廣告嘗試有哪些變數，並用AB test去做測試，在得到實驗結果後就會有下一輪的點子去做發想，不要一次做太多點子，以免最後一切成空。
將推薦模型應用於行銷情境
如果你是 marketing 部門：
不要憑空想像想要的資料，可以先詢問 data 部門目前有什麼資料，有什麼現成的模型可以應用嗎？如果無法以言語好好傳達，可以直接以別人做出來的推薦行銷示意（例如覺得Youtube的推薦系統做得很好，就直接拿現成範例來溝通會有很多幫助）；如果是需要跟外包廠商合作，則可先整理公司內部有哪些資料可以應用，再跟外包公司溝通會比較快速。
如果是 data 部門：
試圖發掘創意點子背後的共同需求，有可能行銷部門跟業務部門的要求都是類似的東西，只是換了一個應用價值，但背後用的資料都是同一種資料跟模型，那千萬不要做重工。
總結
Pinkoi在進行每個專案都有經過嚴謹的規劃，在中間不斷的嘗試以及修正，數據在其中更是佔了非常大的功勞，若在團隊都了解使用數據的重要性的情況下，如何增加部門間的溝通效率就會是分常重要的一環！才能夠加速優化客戶的使用體驗的速度。
Q&A
Q1：資料團隊組織架構與分工？設計師常用的方法像易用性測試或用戶訪談通常以質化為主，想知道 data team 怎麼跟質化資料合作，可以舉個例子嗎？
A1：合作團隊有 UX 研究員跟 UX UI 設計師，Data team隸屬工程部門，我們有四個人，沒什麼分工，但會跟各部門合作，指標會議有 PM、行銷、研究員、data 一起參加與交流資訊。包山包海但會有階段性的分工，像是分析、建模、但很多都是根據專案一條龍的完成。
我們定期有小規模的量化問券訪談，研究員會整理出他覺得重要的內容和洞見做分享，沒有特別針對質性資料去做研究，舉例來說最近瀏覽的體驗不好，是全公司都會知道而不是只對上data team，每個月會報告一次。
Q2：個人化推薦是裝置 based 的呢？還是登入 user based 的呢？是否有兩者利弊的討論 or 實驗？請問 Pinkoi 的推薦系統，有使用到哪些關鍵的演算法呢？請問有覺得現有的/或市面上的推薦系統常遇到哪些盲點嗎？（例如：最後推薦的內容都差不多）有建議的解決方案嗎？選擇自己做推薦系統、猶豫預測系統，或者向外購買市面上的 ML/AI 產品，差別在哪裡？什麼原因讓 Pinkoi 選擇自己開發？還是你們用了哪些外部產品？
A2：Pinkoi 的推薦系統是自建的，沒有使用過第三方服務，但會研究 Spotify、Netflix 等等其他也有做推薦系統的產品的方法。不是參考電商而是參考其他服務，尤其他們內部分享的文章也很多。
使用User based，手機跟電腦登入看都是一樣的，因為現在用戶都會跨裝置使用，才能追蹤跨裝置的足跡。沒有做裝置 base，通常用裝置 base 資料會很亂，要去 mapping 是不是同個人不容易。
訂定產品計畫上面會有自己的 roadmap，公司前進方向也會一直變，如果找外部系統來做，溝通成本可能會更高，但也有可能更低（外部可能很專業）。
Q3：A/B Testing 相關。能不能分享你們如何做 A/B Testing？可以實際舉例如何透過透過a/b跑出來四個或六個的推薦系統（另外會定期做優化更改嗎？）系統的架構總是最花時間的，想知道推薦系統與A/B testing的系統建構過程中，提高其scalability以及迭代效率的關鍵為何？
A3：A/B Testing 在團隊中用的很廣泛，不只是在推薦系統中，推薦系統只是整個網站改版的其中一個小實驗而已！更多是實驗商品頁的版位，推薦系統就是一個變數。
有一個 PM 負責的，他就和當時的產品設計師，一起定義出來不同的版面，實驗平台是 Google Optimize，光是熟悉平台也花了不少時間，同時 data team 也會用自己收到的資料看結果（不只看Google），大概跑一兩個禮拜，看如何分群、有沒有顯著差異等等，整個推薦系統專案大概做了半年。
定義猶豫不決也有用 A/B Testing 看看轉換率是否有差異，來判斷 model 是不是有效果，確認真的有效後才作成 pipeline，他就不是版面而是受眾的實驗。調新的參數之後，會有三分之一或四分之一的人會看到新版本，看看這些人使用行為、轉換率有沒有增加，如果沒有負面效應就會上，持平或正面顯著效益都會上線，因為新版本通常都可以改善一些小問題。
Q4：在商品相似推薦中，為你推薦商品和你可能也喜歡的差別在哪裡？是否背後使用的預測演算法也不同？請問商品相似度的計算，除了商品名稱/商品圖片，還會考慮哪些指標嗎？
A4：有時候只是文案上的設計，覺得比較合理，推薦的內容或算法也有可能是相同的。推薦目前有三種不同的，前端UX可能有各種不同的文字表示。
商品相似是以使用者行為算相似，被分成A群人（相同使用行為）都會看某些東西所以就推其他A群人那些東西。
Q5：在決定 training model factor 的時候，時間有成為你們訓練模型的 factor 嗎？舉例來說：最近瀏覽的商品權重較大。另外，要如何決定要用多長的時間長度，去圈納入訓練的使用者行為？
A5：會，要試才知道要用多少的時間長度，有時候 offline 跟 online 的預測不同（拿去年的來實驗結果很好，但未來幾天的預測不準）。也會把結果給行銷或產品部門來看看和不合理，從內部團隊的工人智慧再來驗證一次。
想更深入了解 WiDS Taipei Conference 2020 的活動內容嗎？歡迎到此連結索取當天活動的 12 份完整簡報檔！更多 WiDS Taipei 2020 精彩演說紀錄，回索引文：
