解讀Appier的Pizza Hut案例,看人工智慧如何搭配策略執行
寫在前頭
這篇文章純粹是自己滑FB看到Appier粉專發布新的案例,馬上拜讀(鐵粉XD) 但是讀一讀覺得有點怪怪的,所以認真想了一下是人工智慧(技術)還是他所制定的商業策略(商業)歸因到此解決方案的成功,並且發表我的看法,當然,也有可能是我的解讀不完全,歡迎一起討論。
先說結論:
Solution = Techniques(AI)+ Business, not just your AI. It’s more about data.
這篇文章純粹是比較在這個pizza案例中成功因素的歸因,如果說case是產品的成功案例,不如說它是一個「商業與AI合作的典範」。
我本身對這個「人工智慧成效卓絕」保持疑惑,如果簡單看過去這的確是很吸引人的數字,但是站在分析的角度,我覺得「這個方案」跟「找AI大師」並沒有什麼強烈的關聯。
我也想用這個案例來說明,一個好的解決方案,絕對不僅涵蓋AI本身那麼簡單,很多時候如果發現單憑AI難以達成目標,就要仰賴適合的「商業目標」與「行動」才能夠創造出好的故事。
標題與文中對其數據解讀的看法可能有點銳利,我自己對Appier其實是非常嚮往,敬佩創辦人。畢竟Appier是AI-related company,近幾年持續吸引許多人才加入,又有台灣兩大獨角獸之稱,試圖把台灣推向國際高科技市場。自己是覺得這家公司有一種魔力,希望他們之後能夠越來越好!
Appier案例原文:
您也可以先到他們的原文網址觀看完整case,然後再開始讀這篇文章。
現在,就讓我們一起來看這篇案例,原文的部分我會用quote的形式呈現,先讓大家看看基本商業背景描述:
品牌故事
創立於美國的Pizza Hut為國際知名連鎖速食品牌,堅持採用最好的食材以及現點現做的服務,滿足全球100多個國家消費者的需求。Pizza Hut於1986年登陸台灣,後來以「必勝客」的中文名稱在台灣打響名號,已深耕台灣34年,深受台灣消費者的喜愛。
行銷目標
台灣的披薩外帶外送市場原本就非常競爭,近年來其他餐飲業者的加入不僅讓市場競爭更加激烈,也加速了台灣民眾消費行為的改變。必勝客致力成為最便捷、最快、最美味的披薩品牌。自2006年開始推動網路下單服務,至今已有超過六成訂單來自網路,除了持續優化網路下單的使用者體驗流程,必勝客也積極佈局數位行銷策略,希望找出更有效的方式提升官網訂單數,或是利用精準行銷,以更貼近客戶需求的方式遞送折價券,同時提高獲利。
從案例描述解構數位策略
超過六成訂單來自網路。我們可以攤開消費者旅程圖來看,大家都會先透過智慧型手機、電腦等下單,然後再到店裡取餐、或者外送。
因此就必勝客轉向數位行銷是一個明顯的趨勢,回到策略,必勝客我們可以簡單將商業模式拆成:訂單數(流量 * 轉換率) * 訂單價格 得到一定時間內的營收。而這邊的案例就是「提升轉換率」,進而提升訂單數,最後提升總營收的「由策略導向機器學習專案」的案例。
這個絕對是很有吸引力的一件事情,其實這也不難想像,以我自己的生活經驗,通常人們訂披薩不外乎:
- 特別日子:好比禮拜五、慶生、小慶功、野餐 -> 這個我上大學前會感到蠻意外的,但是其實很多人野餐懶得準備,就會直接訂速食到戶外享用(還是只有大學生這樣XD?)
- 沒特別日子:想吃、手上剛好有限時折價券
有折價券的確會想趁機把它花掉,以大學生為例,如果想花掉折價券,通常會揪個桌遊之夜或者一個小活動,順便訂Pizza。
這個題目可以很快想到人工智慧的解法,就是精準預測「那些會使用折價券的人」,然後發給他們,他們就會自己想辦法花掉了。
但是「如何定義那些會使用折價券的人?」這個問題其實很困難,畢竟我們沒有上帝視角來看「誰有意圖」,僅能透過「行為」來找到他們的意圖。如果我來做這個問題,會從資料庫抓web data,然後根據網站數據建模,根據網頁瀏覽行為資料來偵測出意圖。
主要挑戰
必勝客深知要搶攻網路下單率,需仰賴更好的數位體驗。經過內部團隊的嚴格把關,必勝客能確保消費者從進站到完成訂單只需花費五個步驟;但是「官網的下單轉換率仍難有顯著提升」,「無差別遞送折價券給所有進站顧客也促使獲利降低」。
到這邊我都覺得還make sense,包括點出必勝客目前的問題是「官網的下單轉換率仍難有顯著提升」,「無差別遞送折價券給所有進站顧客也促使獲利降低」。
不過我會先去求證這兩件事情,也就是「真的如此嗎?」並形成我的假說,然後用數據驗證:
- 獲利降低是什麼意思(所以數據顯示遞送折價券反而使得我們獲利降低,是嗎?)
- 下單轉換率仍難有顯著提升,顯著提升的意思,是「優化了訂單流程與沒優化訂單流程相比,轉換率提升沒有達到統計顯著性的要求,是嗎?」
必勝客因而尋求Appier的協助,希望透過對消費者旅程更精準的掌握,找出有效提升轉換率的作法,促使更多消費者在進站後完成交易,並有效縮短官網交易完成的速度。
ok, 所以這邊我會簡單解讀如下:
- 目的:提升獲利
- 客戶的「表面需求」:「掌握消費者旅程」與「找出有效提升轉換率的做法」
- 手段:「促使更多消費者在進站後完成交易」
- 衡量KPI :「有效縮短官網交易完成的速度。」
也就是這個時候,KPI的部分我覺得不太對勁,因為這有點違背商業直覺。的確,就「推薦系統」、「資料產品」的本質來看,更快讓使用者找到想要的商品會是一個很好的指標,但是就「Pizza」這個產品,或者說「食品」就很特別。
因為我們在點的時候,通常都會「很多人傳來傳去」,注意到了嗎,披薩不太可能一個人點一個人吃,通常都會是「一群人」一起吃、分享才對
怎麼證明這件事情?我們來看看Pizza hut網站跟一般網站的不同點
停留時間大約六分鐘,來看看相似網站(其他速食產品)的停留時間:
Pizza ordering本身太容易作為「朋友間傳來傳去」的商品,包括達美樂也是如此,網站停留時間稍長於其他速食:
我們來看看案例描述:「為了解決上述問題,Appier採用AiDeal解決方案協助必勝客『找出猶豫客』並且『增加交易筆數』」
這本身就是一個「很可以猶豫」的東西(因為很多人看),你總要討論、表決一下大家想吃什麼、想點什麼。
換句話說,我們想像一下「點的人是一個實體」,你可以想像他就是一個資料表上的user id ,然後每一個userid會link到一個很大的網頁瀏覽紀錄資料。
所以AI並不曉得「這個人其實千面」,因為他的unique ID 就已經固定了(用來下單的帳號),有點像是你跟你朋友共用一個Netflix帳號,Netflix的模型裡面絕對就是分析你這支帳號。
我知道Spotify之前有做過「分辨這個帳號目前是哪個使用者在使用」的題目,這是因為Spotify對於「產品本身」的理解,在影音娛樂的商業場景下,會有一個帳號多共用的特徵存在,所以這個模型會建立得不錯。但是Appier是出售解決方案的,就我目前在資料科學上的了解,我想AiDeal本質上應該是一個uplift model(這種模型專門找「最有可能受到活動響應的使用者」),真的有辦法fine tune到每個產品上嗎?
所以如果官網交易完成速度變快,「AI到底學了什麼特徵,判斷這個人是猶豫客?」
這是我不得而知的,我也很難想像AI在這方面會學得好。因為產品場景感覺不適合,連帶使得被分析的資料、被訂下的目標函數是很難達成最終「商業目標」。
目標受眾:最具成長空間且客單價介於台幣500到999元的猶豫客
A/B測試:為更清楚分析導入/未導入AiDeal的成效表現,活動期間也將目標受眾區分為二進行A/B測試
最具成長空間,我想這邊應該是AiDeal預測消費者是否為「猶豫客」,透過用CLV估計去排序高價值客戶(所謂的成長空間),再拉出客單價500~999 區間的客戶來產出一個名單,應該會是一張Excel表或者whatever的資料名單,然後對這群人做A/B testing。這邊倒是沒什麼問題,往下:
優惠條件設定:訂單金額滿500元現折50元,且用戶須在接收優惠券30分鐘內完成訂單
看到這邊我全都懂了,注意到了嗎:「用戶須在接收優惠券30分鐘內完成訂單」,這個小trick其實很犯規,因為衡量指標就是「有效縮短官網交易完成的速度」,規定這麼短的使用時間,看到有優惠券很容易就會下單了吧? 我們想像
場景一:
「叮咚!這是折價券,30min之後會消失ㄛ!」
「啊啊啊我還沒看」「不管了直接訂吧,這個感覺還不錯!」「好像也是。」
場景二:
「欸,有優惠券耶?」(本來只是想上來看看新品)
「直接訂好了!試試看!」
這也是為什麼我覺得這個解決方案的成功之處乃在於它所採取的「商業」執行層面,包括如何發放折價券、設定一些網站運作機制來更好推動人們消費,我想這也是團隊之前就有花時間研究的。如果今天光憑AI產出,其實是沒有辦法達到這麼好的效果。
衡量指標真的可以「很好衡量這整個方案」嗎?
結果成效
整體觀察導入/未導入AiDeal解決方案的成效表現,有以下發現:
官網成交率平均提升15%:顯示AiDeal成功幫助必勝客突破網站轉換率
官網頁面瀏覽數提升9%:顯示消費者對網站內容更有興趣
交易完成時間縮短了20%:顯示消費者的訂購速度明顯加快
進站用戶將餐點加入購物車的比例提高26%:顯示消費者更有意願訂購
我們先來看看benchmark,也就是導入,未導入。
以成交率來說,這邊我不確定,不過純論描述「導入/未導入解決方案」,那麼原本的benchmark,回到案例上面的文字中,我們看到「無差別遞送折價券給所有進站顧客也促使獲利降低」,如果用的benchmark是「無差別發送折價券時的成交率(未導入解決方案)」,母數不一樣(無差別人比較多)那其實提升也是很正常的事情,畢竟無差別發的人那麼多,比率很容易被稀釋。
交易完成時間縮短,這個我覺得合理,都掛一個定時炸彈了(X
「將餐點加入購物車的比例提高」,這個其實很難說,因為很有可能是「有折價券,所以我先放到購物車裡面,待會回來看看、或者就乾脆吃它」,畢竟購物車不代表成交,而意願說不定早就存在了。
再來,下一段有特別標明:「比較有接收到折價券的猶豫客跟沒接收到折價券的猶豫客」成效也相當顯著:
有接收到折價券者其訂單數可增加更多:尤其是本次設定的區間 (客單價介於台幣500至999元的猶豫客),增幅可達到17%。
有接收折價券者其下單速度更快:尤其是下單時間在30分鐘以內的區間(<10分鐘、10–20分鐘、20–30分鐘)都有顯著的提升,提升最多的是在10–20分鐘內完成訂單的猶豫客,增幅將近20%。」
所以這邊的比較看起來就是你想知道「發折價券的效果好不好?」
同一批猶豫客,來看說發與不發的差別怎麼樣?
看到的時候我是蠻納悶的,因為「如果不好,又怎樣?」這個模型所做的就官網上來寫是「增加ROI、觸發顧客購買、優化預算」
咦,猶豫客不就是那些模型覺得可以發折價券的人嗎?所以把預測出來的這些人再做一次比較,看說「發折價券這個行動」是否真的吸引人,如果這些人本來就存在需求但是需要被推一把(digital Nudge),那麼發折價券當然會有比較好的成效,我覺得是理所當然(Sure things),當然因為這是一個解決方案的案例,所以寫出這種數據是蠻吸引人的,但是對我來說就不是什麼特別的insight。
後續操作,這些是不是insight呢?
1. 根據頭兩週操作成效,第二週起的下單轉換率明顯高於第一週,增幅可達6–8%
2. 選擇在商品頁遞送優惠,可以更大程度影響猶豫客下單,獲致更高的成效
3. 當受眾瀏覽網頁超過7次,利用「優惠」帶來的效益較低,因此AiDeal改將優惠遞送給網頁瀏覽數低於3次之受眾,藉此提高轉化率
這些都是非常具體的行動,而且是基於模型的結果,然而也有跡可循:
1就是數據優化模型,沒什麼noise的話模型會越來越好,make sense,對管理者來說,這邊的重點反而不在增幅,而是增幅「多少」才會令人滿意。
2選擇在商品頁遞送優惠,可以更大程度影響下單,我本來看下來一直以為「就是在商品頁推優惠券」,看到這裡才覺得疑惑「所以有好幾個不同頁面嗎?」來官網大多數人(可能99%)都是看商品頁吧?當然數據分析本身需要驗證,所以也很make sense。
3邊際效益,換句話說其實受眾瀏覽網頁超過7次這個特徵,顯示他可能是一個「不需促銷也會購買者」或者「只逛不買」的人,這是我覺得最有insight的地方,因為足夠具體(說得出7這個數字),但是這是連續變數,也就是說模型特徵納入了瀏覽網頁次數,自古連續變數多噪聲,這邊的重點就變成多久會update一次特徵重要性,AiDeal改將優惠遞送給網頁瀏覽數低於3次之受眾,藉此提高轉化率然後去調整那個數字「3」。
大概是這樣,如果今天作為解決方案的使用者,我會去challenge上述的這些面向,以及要求更多insight,會更加釐清「什麼算是成功」、以及「有沒有更適合的衡量指標」。
最後
解決方案的涵蓋不是只有技術那麼簡單,我想Appier團隊厲害之處,有很大部分就在於結合了人工智慧的技術與商業策略的執行,以及後續對解決方案的跟進、調整,都會讓團隊運作得更好,客戶也會看得見成果。然我們也必須思考這時候是哪一方提供的機制完善了整個解決方案,並不一定導入「AI」就可以強化「商業力」,有時候還需要策略與近一步執行,才能善用AI分析出的結果。
相關文章:
敬請期待下一篇!或是您也可以逛逛我的其他資料科學文章:人工智慧商務系列:
Python資料科學系列:
- 利用集群分析掌握消費者輪廓
- 利用Airbnb來更了解居住城市,以臺北為例 Python實作
- Kaggle比賽思路分享,客戶流失預測
- Airbnb推薦系統- Python實作
- 學生社團的數據分析,Python線上課程分析實作
- 2019國泰大數據競賽前8% 建模與賽後分享
看我用金融的概念解釋AI:
如果想跟著我實作資料科學,開始寫程式必知必會基礎系列: