解讀Appier的Pizza Hut案例，看人工智慧如何搭配策略執行
寫在前頭
這篇文章純粹是自己滑FB看到Appier粉專發布新的案例，馬上拜讀(鐵粉XD) 但是讀一讀覺得有點怪怪的，所以認真想了一下是人工智慧（技術）還是他所制定的商業策略（商業）歸因到此解決方案的成功，並且發表我的看法，當然，也有可能是我的解讀不完全，歡迎一起討論。
先說結論：
Solution = Techniques(AI)+ Business, not just your AI. It’s more about data.
這篇文章純粹是比較在這個pizza案例中成功因素的歸因，如果說case是產品的成功案例，不如說它是一個「商業與AI合作的典範」。
我本身對這個「人工智慧成效卓絕」保持疑惑，如果簡單看過去這的確是很吸引人的數字，但是站在分析的角度，我覺得「這個方案」跟「找AI大師」並沒有什麼強烈的關聯。
我也想用這個案例來說明，一個好的解決方案，絕對不僅涵蓋AI本身那麼簡單，很多時候如果發現單憑AI難以達成目標，就要仰賴適合的「商業目標」與「行動」才能夠創造出好的故事。
標題與文中對其數據解讀的看法可能有點銳利，我自己對Appier其實是非常嚮往，敬佩創辦人。畢竟Appier是AI-related company，近幾年持續吸引許多人才加入，又有台灣兩大獨角獸之稱，試圖把台灣推向國際高科技市場。自己是覺得這家公司有一種魔力，希望他們之後能夠越來越好！
Appier案例原文：
您也可以先到他們的原文網址觀看完整case，然後再開始讀這篇文章。
現在，就讓我們一起來看這篇案例，原文的部分我會用quote的形式呈現，先讓大家看看基本商業背景描述：
品牌故事
創立於美國的Pizza Hut為國際知名連鎖速食品牌，堅持採用最好的食材以及現點現做的服務，滿足全球100多個國家消費者的需求。Pizza Hut於1986年登陸台灣，後來以「必勝客」的中文名稱在台灣打響名號，已深耕台灣34年，深受台灣消費者的喜愛。
行銷目標
台灣的披薩外帶外送市場原本就非常競爭，近年來其他餐飲業者的加入不僅讓市場競爭更加激烈，也加速了台灣民眾消費行為的改變。必勝客致力成為最便捷、最快、最美味的披薩品牌。自2006年開始推動網路下單服務，至今已有超過六成訂單來自網路，除了持續優化網路下單的使用者體驗流程，必勝客也積極佈局數位行銷策略，希望找出更有效的方式提升官網訂單數，或是利用精準行銷，以更貼近客戶需求的方式遞送折價券，同時提高獲利。
從案例描述解構數位策略
超過六成訂單來自網路。我們可以攤開消費者旅程圖來看，大家都會先透過智慧型手機、電腦等下單，然後再到店裡取餐、或者外送。
因此就必勝客轉向數位行銷是一個明顯的趨勢，回到策略，必勝客我們可以簡單將商業模式拆成：訂單數（流量 * 轉換率） * 訂單價格 得到一定時間內的營收。而這邊的案例就是「提升轉換率」，進而提升訂單數，最後提升總營收的「由策略導向機器學習專案」的案例。
這個絕對是很有吸引力的一件事情，其實這也不難想像，以我自己的生活經驗，通常人們訂披薩不外乎:
- 特別日子：好比禮拜五、慶生、小慶功、野餐 -> 這個我上大學前會感到蠻意外的，但是其實很多人野餐懶得準備，就會直接訂速食到戶外享用（還是只有大學生這樣XD？）
- 沒特別日子：想吃、手上剛好有限時折價券
有折價券的確會想趁機把它花掉，以大學生為例，如果想花掉折價券，通常會揪個桌遊之夜或者一個小活動，順便訂Pizza。
這個題目可以很快想到人工智慧的解法，就是精準預測「那些會使用折價券的人」，然後發給他們，他們就會自己想辦法花掉了。
但是「如何定義那些會使用折價券的人？」這個問題其實很困難，畢竟我們沒有上帝視角來看「誰有意圖」，僅能透過「行為」來找到他們的意圖。如果我來做這個問題，會從資料庫抓web data，然後根據網站數據建模，根據網頁瀏覽行為資料來偵測出意圖。
主要挑戰
必勝客深知要搶攻網路下單率，需仰賴更好的數位體驗。經過內部團隊的嚴格把關，必勝客能確保消費者從進站到完成訂單只需花費五個步驟；但是「官網的下單轉換率仍難有顯著提升」，「無差別遞送折價券給所有進站顧客也促使獲利降低」。
到這邊我都覺得還make sense，包括點出必勝客目前的問題是「官網的下單轉換率仍難有顯著提升」，「無差別遞送折價券給所有進站顧客也促使獲利降低」。
不過我會先去求證這兩件事情，也就是「真的如此嗎？」並形成我的假說，然後用數據驗證：
- 獲利降低是什麼意思（所以數據顯示遞送折價券反而使得我們獲利降低，是嗎？）
- 下單轉換率仍難有顯著提升，顯著提升的意思，是「優化了訂單流程與沒優化訂單流程相比，轉換率提升沒有達到統計顯著性的要求，是嗎？」
必勝客因而尋求Appier的協助，希望透過對消費者旅程更精準的掌握，找出有效提升轉換率的作法，促使更多消費者在進站後完成交易，並有效縮短官網交易完成的速度。
ok， 所以這邊我會簡單解讀如下：
- 目的：提升獲利
- 客戶的「表面需求」：「掌握消費者旅程」與「找出有效提升轉換率的做法」
- 手段：「促使更多消費者在進站後完成交易」
- 衡量KPI ：「有效縮短官網交易完成的速度。」
也就是這個時候，KPI的部分我覺得不太對勁，因為這有點違背商業直覺。的確，就「推薦系統」、「資料產品」的本質來看，更快讓使用者找到想要的商品會是一個很好的指標，但是就「Pizza」這個產品，或者說「食品」就很特別。
因為我們在點的時候，通常都會「很多人傳來傳去」，注意到了嗎，披薩不太可能一個人點一個人吃，通常都會是「一群人」一起吃、分享才對
怎麼證明這件事情？我們來看看Pizza hut網站跟一般網站的不同點
停留時間大約六分鐘，來看看相似網站（其他速食產品）的停留時間：
Pizza ordering本身太容易作為「朋友間傳來傳去」的商品，包括達美樂也是如此，網站停留時間稍長於其他速食：
我們來看看案例描述：「為了解決上述問題，Appier採用AiDeal解決方案協助必勝客『找出猶豫客』並且『增加交易筆數』」
這本身就是一個「很可以猶豫」的東西（因為很多人看），你總要討論、表決一下大家想吃什麼、想點什麼。
換句話說，我們想像一下「點的人是一個實體」，你可以想像他就是一個資料表上的user id ，然後每一個userid會link到一個很大的網頁瀏覽紀錄資料。
所以AI並不曉得「這個人其實千面」，因為他的unique ID 就已經固定了（用來下單的帳號），有點像是你跟你朋友共用一個Netflix帳號，Netflix的模型裡面絕對就是分析你這支帳號。
我知道Spotify之前有做過「分辨這個帳號目前是哪個使用者在使用」的題目，這是因為Spotify對於「產品本身」的理解，在影音娛樂的商業場景下，會有一個帳號多共用的特徵存在，所以這個模型會建立得不錯。但是Appier是出售解決方案的，就我目前在資料科學上的了解，我想AiDeal本質上應該是一個uplift model（這種模型專門找「最有可能受到活動響應的使用者」），真的有辦法fine tune到每個產品上嗎？
所以如果官網交易完成速度變快，「AI到底學了什麼特徵，判斷這個人是猶豫客？」
這是我不得而知的，我也很難想像AI在這方面會學得好。因為產品場景感覺不適合，連帶使得被分析的資料、被訂下的目標函數是很難達成最終「商業目標」。
目標受眾：最具成長空間且客單價介於台幣500到999元的猶豫客
A/B測試：為更清楚分析導入/未導入AiDeal的成效表現，活動期間也將目標受眾區分為二進行A/B測試
最具成長空間，我想這邊應該是AiDeal預測消費者是否為「猶豫客」，透過用CLV估計去排序高價值客戶（所謂的成長空間），再拉出客單價500~999 區間的客戶來產出一個名單，應該會是一張Excel表或者whatever的資料名單，然後對這群人做A/B testing。這邊倒是沒什麼問題，往下：
優惠條件設定：訂單金額滿500元現折50元，且用戶須在接收優惠券30分鐘內完成訂單
看到這邊我全都懂了，注意到了嗎：「用戶須在接收優惠券30分鐘內完成訂單」，這個小trick其實很犯規，因為衡量指標就是「有效縮短官網交易完成的速度」，規定這麼短的使用時間，看到有優惠券很容易就會下單了吧？ 我們想像
場景一：
「叮咚！這是折價券，30min之後會消失ㄛ！」
「啊啊啊我還沒看」「不管了直接訂吧，這個感覺還不錯！」「好像也是。」
場景二：
「欸，有優惠券耶？」(本來只是想上來看看新品)
「直接訂好了！試試看！」
這也是為什麼我覺得這個解決方案的成功之處乃在於它所採取的「商業」執行層面，包括如何發放折價券、設定一些網站運作機制來更好推動人們消費，我想這也是團隊之前就有花時間研究的。如果今天光憑AI產出，其實是沒有辦法達到這麼好的效果。
衡量指標真的可以「很好衡量這整個方案」嗎？
結果成效
整體觀察導入/未導入AiDeal解決方案的成效表現，有以下發現：
官網成交率平均提升15%：顯示AiDeal成功幫助必勝客突破網站轉換率
官網頁面瀏覽數提升9%：顯示消費者對網站內容更有興趣
交易完成時間縮短了20%：顯示消費者的訂購速度明顯加快
進站用戶將餐點加入購物車的比例提高26%：顯示消費者更有意願訂購
我們先來看看benchmark，也就是導入，未導入。
以成交率來說，這邊我不確定，不過純論描述「導入/未導入解決方案」，那麼原本的benchmark，回到案例上面的文字中，我們看到「無差別遞送折價券給所有進站顧客也促使獲利降低」，如果用的benchmark是「無差別發送折價券時的成交率（未導入解決方案）」，母數不一樣（無差別人比較多）那其實提升也是很正常的事情，畢竟無差別發的人那麼多，比率很容易被稀釋。
交易完成時間縮短，這個我覺得合理，都掛一個定時炸彈了(X
「將餐點加入購物車的比例提高」，這個其實很難說，因為很有可能是「有折價券，所以我先放到購物車裡面，待會回來看看、或者就乾脆吃它」，畢竟購物車不代表成交，而意願說不定早就存在了。
再來，下一段有特別標明：「比較有接收到折價券的猶豫客跟沒接收到折價券的猶豫客」成效也相當顯著：
有接收到折價券者其訂單數可增加更多：尤其是本次設定的區間 (客單價介於台幣500至999元的猶豫客)，增幅可達到17%。
有接收折價券者其下單速度更快：尤其是下單時間在30分鐘以內的區間（＜10分鐘、10–20分鐘、20–30分鐘）都有顯著的提升，提升最多的是在10–20分鐘內完成訂單的猶豫客，增幅將近20%。」
所以這邊的比較看起來就是你想知道「發折價券的效果好不好？」
同一批猶豫客，來看說發與不發的差別怎麼樣？
看到的時候我是蠻納悶的，因為「如果不好，又怎樣？」這個模型所做的就官網上來寫是「增加ROI、觸發顧客購買、優化預算」
咦，猶豫客不就是那些模型覺得可以發折價券的人嗎？所以把預測出來的這些人再做一次比較，看說「發折價券這個行動」是否真的吸引人，如果這些人本來就存在需求但是需要被推一把（digital Nudge），那麼發折價券當然會有比較好的成效，我覺得是理所當然（Sure things），當然因為這是一個解決方案的案例，所以寫出這種數據是蠻吸引人的，但是對我來說就不是什麼特別的insight。
後續操作，這些是不是insight呢？
1. 根據頭兩週操作成效，第二週起的下單轉換率明顯高於第一週，增幅可達6–8%
2. 選擇在商品頁遞送優惠，可以更大程度影響猶豫客下單，獲致更高的成效
3. 當受眾瀏覽網頁超過7次，利用「優惠」帶來的效益較低，因此AiDeal改將優惠遞送給網頁瀏覽數低於3次之受眾，藉此提高轉化率
這些都是非常具體的行動，而且是基於模型的結果，然而也有跡可循：
1就是數據優化模型，沒什麼noise的話模型會越來越好，make sense，對管理者來說，這邊的重點反而不在增幅，而是增幅「多少」才會令人滿意。
2選擇在商品頁遞送優惠，可以更大程度影響下單，我本來看下來一直以為「就是在商品頁推優惠券」，看到這裡才覺得疑惑「所以有好幾個不同頁面嗎？」來官網大多數人（可能99%）都是看商品頁吧？當然數據分析本身需要驗證，所以也很make sense。
3邊際效益，換句話說其實受眾瀏覽網頁超過7次這個特徵，顯示他可能是一個「不需促銷也會購買者」或者「只逛不買」的人，這是我覺得最有insight的地方，因為足夠具體（說得出7這個數字)，但是這是連續變數，也就是說模型特徵納入了瀏覽網頁次數，自古連續變數多噪聲，這邊的重點就變成多久會update一次特徵重要性，AiDeal改將優惠遞送給網頁瀏覽數低於3次之受眾，藉此提高轉化率然後去調整那個數字「3」。
大概是這樣，如果今天作為解決方案的使用者，我會去challenge上述的這些面向，以及要求更多insight，會更加釐清「什麼算是成功」、以及「有沒有更適合的衡量指標」。
最後
解決方案的涵蓋不是只有技術那麼簡單，我想Appier團隊厲害之處，有很大部分就在於結合了人工智慧的技術與商業策略的執行，以及後續對解決方案的跟進、調整，都會讓團隊運作得更好，客戶也會看得見成果。然我們也必須思考這時候是哪一方提供的機制完善了整個解決方案，並不一定導入「AI」就可以強化「商業力」，有時候還需要策略與近一步執行，才能善用AI分析出的結果。
相關文章：
敬請期待下一篇！或是您也可以逛逛我的其他資料科學文章：人工智慧商務系列：
Python資料科學系列：
- 利用集群分析掌握消費者輪廓
- 利用Airbnb來更了解居住城市，以臺北為例 Python實作
- Kaggle比賽思路分享，客戶流失預測
- Airbnb推薦系統- Python實作
- 學生社團的數據分析，Python線上課程分析實作
- 2019國泰大數據競賽前8% 建模與賽後分享
看我用金融的概念解釋AI：
如果想跟著我實作資料科學，開始寫程式必知必會基礎系列：
