Learning Data Analytics 2.
Data Analytics Frameworks 1. AARRR
들어가기 전,
Learning Data Analytics 1. — Data Analytics를 올렸더니, ‘이론을 실천으로 검정하는 맛간 통계'의 선배님께서 질문을 주셨다.
“실행을 못하면 다 낭비인거 맞음? 분석의 95%는 그럼 낭비겠네" 이런 시니컬하신, SAS를 오래 다니신 홍선배.
분석의 95%가 낭비인지는 모르겠다.
하지만, 분석만으로 끝난다면, 그것이 아무런 역할도 하지 못한다면, 낭비다.
when you are a startup, your goal is to find a sustainable and repeatable business model.
when you are a big company, your goal is to perpetuate one.
분석은 스타트업에게는 생존의 문제이며, 빅 컴퍼니에게는 확장, 그리고 영구화의 문제이다.
지속가능하고, 반복할 수 있는 비즈니스 모델을 찾는다는 것은, 지속적인 반복으로 제품을 개선하는 과정을 통해 사용자(고객)가 원하는, 사용자들이 가지고 있는 문제를 해결하고, 수익의 창출을 극대화하는 프로세스의 정립(제한된 리소스를 가지고)이라 정의해볼 수 있겠다.
Data Analytics Frameworks
내용은 형식을 통해서 나타난다
스타트업들이 어떤 틀(framework)을 가지고 자신들의 서비스를 분석하는가에 대해서 살펴보고자 한다. — 쓰다보니 길어져서 쪼개서 학습해보려고 한다.
1. AARRR — Pirate Metrics
AARRR : 아~르으으~ or 아~르르르~. 암튼.
admin tool 기획 업무에서 가장 먼저 찾아보게된 분석 방법이다.
데이브 맥클루어(Dave McClure)가 소개한 해적지표로, 스타트업의 성공적인 사업을 위한 제품의 전체 사이클(Cycle) 측면에서 단계별 요소 및 기능과, 각 단계별로 추적할 지표를 소개하고 있다.
맥클루어는 스타트업의 단계를 다음의 5가지로 구분한다.
Acquisition — 사용자 유치
사용자들은 어떻게 당신의 제품(앱, 웹 서비스…)에 찾아오는가? 이는 고객을 어떤 채널들을 통해서 확보하는가?, 그리고 무엇을 측정해야 하는가?에 대한 단계라고 할 수 있다.
- 사용자 유입이 가장 많은 채널은? — Large Volume Channel (#)
- 비용이 적게 드는 채널은? — Low Cost Channel ($)
- 사용자 유입에 있어서 가장 효과적인 채널은? — Best Performing Channel(%)
Acquisition 단계에서는 다양한 방법(소셜 마케팅, 검색광고, 홍보, 블로그, …)을 통해 사용자의 유입을 이끌어야 한다.
사실, 이것은 말이 쉽다. 사용자 확보 단계에 있어서 고려할 요소들은, 제품이 어떤 비즈니스 모델을 가지고 있는가에 따라서 매우 다르다.
모바일 앱(App)의 경우를 예를 들어보자.
모바일 앱을 만들고자 했을 때, 주요 고려사항중에 하나가 어떤 OS 마켓으로 가는가? 이다.
제발, “우리나라는 안드로이드가 대세이니 안드로이드부터 가자"고 쉽게 말하고, 쉽게 결정하지 말자.
- 개발자들이 모두 앱등이냐고? 쿠키가 9%를 고집하게 된 이유
- 안드로이드 대 iOS 누가 이기는 게임?
- 왜 좋은 앱들은 iOS를 먼저 지원하는가?
- 왜 레진코믹스는 안드로이드부터 개발했는가?
- 왜 우리는 이것부터 개발하는가? — 채워 넣어봅시다. ;-)
그렇다면, 어떤 OS를 먼저 지원해야 하는가?
이것은 당연히 제품의 고객군에 따라 달라진다. 제품을 필요로 하는 핵심 고객(Minimum Viable Segments, 같은 니즈(needs)를 가진 최소한의, 한정 지을 수 있는 고객)을 어떻게 정의하는가?에 따라서 먼저 지원해야할 OS뿐만이 아니라 제품의 모습과 방향성도 달라질 수 있다.
모바일 앱의 경우 다른 비즈니스 모델과는 달리 애플 앱 스토어(apple app store), 구글 플레이 스토어(google play store)라는 앱 마켓 문지기(gate keeper)들을 만나게 된다.
이 게이트 키퍼들은 모바일 앱 비즈니스에 있어서 매우 강력한 역할을 하고 있다(좋은 측면에서도, 나쁜 측면에서도).
모바일 앱에서는 모든 것이 앱 마켓으로 귀결된다. -.-)b
앱 자체가 이들 게이트 키퍼들에 의해서 관리되고, 통제가 되기 때문에 앱 다운로드 횟수등이 이 게이트 키퍼들에 의해서 좌지우지되며, 다운로드 통계 역시 이들을 통해서만 확인이 가능하다.
앱스토어에서 어디에 노출되느냐에 따라서 다운로드 수와 매출에 큰 영향을 미친다.
디스티모(distimo)의 자료에 따르면, 인기순위 100위에 속한 앱이 별도의 영역에서 다시 노출된다면, 첫날 매출은 51%가 그리고, 전체 매출은 22%가 상승하는 것으로 나타났다.
단순한 예이긴 하지만, 앱 마켓 게이트 키퍼들의 영향력을 확인할 수 있다. — 혹시, 설마, 앱 마켓 Paid listing 영역이 나타날지도 모르겠다.
운이 좋게도(lucky!!!) 전 직장에서 미취학 아동(pre-schooler)을 위한 교육 앱을 국내, 싱가폴, 말레이시아 마켓에 그리고 ios, android 둘 다를 런칭할 수 있었다. 럭키, 럭키.
잠시 언급해보면, 국내, iOS의 경우, 교육(Education) 카테고리에 등록이 되었는데, 정확히 한달간 Education > New 영역에 노출이 되었다. 이 노출이 있음과 없음이 적게는 3배, 많게는 7배 정도의 다운로드 수에 있어서 차이를 보였다. 또한 ios와 Android의 다운로드는 6:4 정도로 ios에서의 다운로드가 많았다.(국내 점유률이 android가 월등함에도!!!) — 또한 IAP 다운로드의 경우는 또 다른 모습을 보여주었다.
싱가폴 마켓(ios)의 경우 국내 다운로드 수의 2~4배 이상의 다운로드 수를 보였다.
오픈전에 좀 더 많은 학습(게이트 키퍼들에 대한 작동방식, 카테고리의 선택(kids category))이 있었더라면, 보다 효과적인 다운로드와 사용자 확보가 가능했을 것이라 생각된다.
모바일 앱의 Acquisition 단계에서의 핵심 지표는 역시 앱의 다운로드(download)와 관련된 지표이다.
- 앱의 다운로드 횟수 : 국가별, os별(ios/android), 디바이스별(size)등의 기본적인 항목들로 세분화할 수 있다.
- 또한 다운로드 비율 % change를 파악할 수 있어야 한다. day/week/month
- 고객 확보 비용(Customer Acquisition Costs, CAC) : 마케팅시 사용자 한 명을 확보하는데 들어간 비용.
- 앱 마켓에서의 리스팅 : 어디에, 어떻게 리스팅이 되느냐에 따라서 다운로드 자체에 큰 영향력을 발휘한다. 당연히 노출이 많이 될수록, 다운로드수와 매출은 올라간다. 앱 마켓 리스팅 방식에 대한 파악(다운로드, 속도, 매출…)에 기반한 마케팅 방식. 등.
- 지표의 형태는 아니지만, Annotation이 필요하다 — 다운로드 비율 % change 이 변동했을 때, 그 이유를 추적할 수 있어야 한다.
Activation — 사용자 활성화
이 단계는 사용자들이 제품을 어떻게 받아들이고, 그 제품을 사용하게 되는가?라고 정의할 수 있다. 반대로 어떻게 방문자(?)들을 사용자로 전환시킬 것인가?의 단계가 될 수 있을 것 같다.
가장 강력한 단 하나의 기능(one feature that matters)일수도 있으며, 사용자 경험(user experience)을 최대화한 디자인(user interface)일수도 있다.
“앵그리버드를 당시 7세의 큰 아이에게 소개해주었을 때, 킥킥, 실실 쪼개며아주 즐겁게 플레이하던 모습이 생생하다.
하지만, 역시 가장 중요한 것은 제품이 최초 고객군으로 설정한 사용자들의 문제를 풀어 내고 있는가?가 아닐까 한다.
제품의 기능과 사용자 경험, 디자인은 정말 중요하다. 하지만 더 가장 중요한 것은 제품이 문제를 풀어내고 있는가이다.
Activation 단계에서는 제품의 사용자 활성도를 측정한다. — 방문자들이 얼마나 사용자로 전환하는가?, Conversion Rate.
- 앱을 다운로드 받고, 실제 실행한 사용자들의 비율 — 실행률(launch/download) : 모바일 앱의 경우, 사용자들의 활동(activities) 정보는 앱을 실행하는 순간부터 측정할 수 있다. — 아, 모바일 앱, 참 제약도 많아요.
- 앱을 실행한 사용자들중 회원에 가입한 사용자들의 비율 — 가입률(sign-up/launch) : 사용자들의 데이터(demographic userdata)는 회원 가입부터 시작된다.
- 신규사용자(New Users) : Sign-up Users 라고 할 수 있다. 초기 단계에서 측정가능한 기본 모수는 중요하다. 물론 모든 신규 사용자가 중요한 것은 아니다. MVS(Minimum Viable Segments)를 통하여 공통의 니즈를 가진 최소한의, 한정지을 수 있는 고객군을 선정했다면, 그 다음은 이들 MVS의 활동(Customer Activities)을 분석하는 것이다
- 활동사용자(Active Users) : 액티브 사용자란 말그대로, 앱을 사용하는 사용자이다. 보통 신규 사용자(new user)와 재방문사용자(returning user)의 합으로 나타난다. DAU(Daily Active User), WAU(Weekly Active User), MAU(Monthly Active User) 등으로 주기적으로 측정한다. 주의 할 점은, 이들의 카운트는 Unique Visitors, 즉, 순수 방문자로 측정되어야 한다는 점이다.(따라서 DAU의 단순합이 MAU가 아니다.)
- 앞서서 언급했지만, 활동사용자의 제품에서의 활동(activities)를 세분화하여 측정하는 것이 중요하다.
- 또한 비활동 사용자 비율(inactive user rate)— 보통 이탈률(bounce rate)로 표현하기도 하는데, 모바일 앱의 경우 이 단계에서는 이탈율보다는 비활동 사용자 비율을 측정하는 것이 보다 실질적일 것 같다. 그리고 ‘유료고객의 이탈률'등과 같이 적절한 지표를 맞는 단계에 추척하는것이 필요하다. — 를 파악하는 것도 좋다. 가입 사용자중 앱을 사용하지 않는 사용자의 비율, 단위기간동안 앱을 사용하지 않은 사용자의 비율등을 추적하여, 이들에 대한 대응 시나리오— 1 day의 비활동사용자 비율이 높다면, UI/UX가 좋지 않거나, 앱에 흥미를 못느낀다고 볼 수 있으며, 1 week 비율이 높다면, 컨텐츠의 사용성, 또는 게임성이 떨어지기 때문으로 볼 수 있다. — 를 마련해야 한다.
Retention — 사용자 유지
사용자의 유지 비율(User Retention Rate)이 높다는 것은, 제품이 적절한 비즈니스 모델을 찾아가고 있음을 보여주는 중요 요소(반드시 추적 해야 하는 핵심 지표)라고 할 수 있다.
“리텐션률 = {조건을 만족하는 사용자 순수방문자수}/{특정 기간 동안의 Active User}”
로 계산하게 된다.
1 day retention rate = {(day 1 and day 2) UV}/{day 2 DAU} 로 계산할 수 있다. 즉, 오늘의 사용자 리텐션 비율은 어제와 오늘 모두 방문한 유니크한 사용자와 오늘의 DAU 의 비율로 나타낼 수 있다.
마찬가지로 1 week retention rate은 월요일 DAU 중에서 화요일 ~ 일요일 사이에 1회 이상 접속한 UV와 WAU의 비율로 나타나게 된다.
1주일에 1회씩 에피소드가 업데이트 되는 교육용 앱을 예로 들어보자.
우선, 런칭 초기엔 1 day retention rate을 측정해본다. 과연 사용자들이 앱을 얼마나 사용하는가를 알기 위한 기본 지표로 활용할 수 있다. 리텐션 비율이 높다는 것은 제품이 사용자의 문제를 해할 수 있다는 것을 증명하고 있는 것이다.
여기서 중요한 문제가 하나가 발생하는데, 리텐션 비율이 높다, 낮다 등의 기준은 과연 무엇일까?
다음은 플러리에서 앱 인게이지먼트와 관련한 발표한 자료 중의 하나이다.
사용자들의 30 days retention 평균은 54% 이며, 90 days이 지나면, 35% 정도가 앱을 사용한다고 한다.
교육 앱의 경우, 30 days 53%, 60 days 43%, 90 days 31%를 보인다고 한다. 또한 교육앱의 경우 1 week 당 평균 2.1 회의 사용률을 보이고 있다.
또한 Smartphone과 Tablet의 경우 주당 사용횟수와 사용시간이 차이가 나는데,
스마트폰 사용자의 경우 주(week)당 12.9회 앱을 사용하며, 각 사용시간은 평균 4.1분 정도를 보이고 있는 반면에 테블릿의 경우 주당 사용횟수는 9.5회이지만, 평균 사용시간은 8.2분으로 높다.
이것을 참고 삼아 모바일 앱의 사용자 리텐션에 대한 목표 기준을 설정할 수 있겠다. 물론 이것은 참고치일뿐이다. 실제로는 분석해보지 않으면 모를일이다.
사용자의 리텐션을 측정하는데 있어서 유념해야할 사항은 기간 이라고 할 수 있다.
어떤 앱의 경우, 매일 사용해야만 의미가 있는 비즈니스 모델일 수 있고, 또 어떤 앱은 그렇지 않을 수도 있기 때문이다. — 물론 매일 사용하는 사용자의 수가 많으면, 매출로 이어질 확률이 높아 질 수 있겠지만, 중요한 것은 어떤 패턴을 가진 사용자가 매출을 발생시키는가? 이다. 매출을 발생시키는 사용자들의 사용패턴(이용시간, 접속 빈도, 리텐션 등등등…)을 찾아내는 것이 중요하다.
모바일 앱의 비즈니스 모델 및 컨텐츠의 성격에 따라 리텐션의 측정 기간은 달라질 수 있다. 자신의 제품 에 맞는 기간을 찾아내는 것은 정말 중요하다.
Revenue — 매출
매출.은 중요하다.
그건, 반복적이고 지속가능한 사업모델에 대한 실질적인 결과 형태를 보여주기 때문일게다.
“1년 동안 우린 매출에 신경쓰지 않을 것이다.” — 이 말은 “손해 보면서 장사하고 있어요" 만큼이나 *개*구라다. 서비스가 오픈하자마자 여러분의 상사들은 매출에 대해 끊임없이 리포팅을 요구할 것이다.
AARRR의 Revenue 단계는 사용자들이 수익 창출의 행동을 수행하게 된다.
매출의 유형은 비즈니스 모델의 유형만큼이나 다양하다. 비즈니스 모델의 유형이 매출의 발생 형태에 따라 규정되기 때문에 어쩌면 당연할 수도 있겠다.
매출은 제품의 흡인력(Stickiness) — 사용자 유지(retention)와 인게이지먼트(engagement)에 대한 결과물이라고 해도 틀린말은 아니다. 이것은 무료 앱 및 IAP 모델 뿐만 아니라 유료앱의 경우에도 마찬가지일 것이다.
다음은 매출과 관련한 기본 지표 — 말그대로 기본 지표이다. 들에 대한 소개이다.
매출은 기본적으로 우상향 그래프를 가진다. 즉, 매출 자체로는 제품(product)과 사업(business)의 정확한 상태(status)를 파악하기 어렵다. 따라서 보다 세분화되고 제품과 사업의 정확한 상태(for a decision making)를 파악할 수 있는 지표들을 추적해야 한다.
PU(Paying User) — 구매고객
구매고객의 비율이 상승한다는 것은 매출의 성장을 가져온다는 의미이다.
구매고객의 패턴은 어떠한가? 어떻게 유입이 되며, 서비스 또는 앱상에서 어떠한 활동을 보이는가? 구매고객간에는 어떠한 차이가 있는가?
ARPU(Average Revenue Per User or Unit) — 사용자별(고객별) 평균 매출.
ARPU는 특정 기간 동안의 매출의 총합을 사용자의 수로 나눈 값이다.
사용자 대비 얼마나 많은 매출을 올리고 있는가를 측정하는 지표이다. ARPU를 계산하기 위해서는 기준 기간(standard time period)이 먼저 정의되어야 한다. 기간이 정의되면, 사용자에 대한 정의 — 서비스의 가입자(회원)인지, 아니면 주어진 기간동안의 Active User인지 — 가 필요하다.
ARPPU(Average Revenue Per Paying User) — 구매자별 평균 매출
기준 기간의 총 수익(기준 기간의 매출)/ 기준 기간의 구매 고객의 수로 측정한다.
ARPU가 서비스 가입자 대비 매출에 대한 비율이라면, ARPPU는 좀 더 구체적인 지표로 구매자 대비 평균 매출을 측정하는 지표이다. 즉, 서비스나 게임에서 돈을 지불한 고객의 평균 지출 금액을 나타내는 수치이다.
게임을 예로 든다면, ARPU는 가입자(또는 활동 사용자) 대비 평균 매출이며, ARPPU는 유료 사용자(Paying User)들의 평균 매출이라고 보면 쉽겠다.
CLV(Customer Lifetime Value) — 고객 생애 가치
CLV를 러프하게 정의하면, 고객이 자신의 생애주기(Customer Lifetime(cutomer lifespan), 말이 일생이지, 서비스 또는 제품의 사용 시점부터 종료 시점까지, 그 안에는 당연히 구매의 행동이 있다.) 만들어 내는(발생시키는) 예상 수익(가치)을 의미한다.
CLV는 다음과 같은 계산식을 가진다.
- GC : 고객당 평균 총 이익률(Avg. Gross Margin per customer) = 고객당 이익률(profit margin per customer) * 고객당 평균 가치(매출) ( avg. customer value) * 고객 생애주기(Customer lifespan)
- r : 고객 유지 비율(Customer Retention Rate)
- d : 할인률(The rate of Discount)
예를들어,
- 고객당 이익률 : 21.3%
- 고객당 평균 가치(per week) : $24.30
- 평균 고객 생애주기 : 20 year (고객의 평균 생애주기는 이탈율과 관계가 있다. 예를들어, 매달 15%의 이탈율이 있다면, 이는 고객의 평균 생애주기가 6.67개월(1/0.15)이라는 의미이다.)
- 고객 유지 비율 : 75%
- 할인율 : 10%
라는 스타벅스의 예로 CLV를 계산해보면,
CLV = 0,213*24.30*52*20{0.75/(1+0.10-0.75)} = $11,535 이다.
즉, 스타벅스의 고객 생애 가치(CLV)는 $11,535 이다.
CLV라는 지표의 추적을 통해 알 수 있는 사항은,
- 고객당 평균 총이익률(Avg. Gross Margin per Customer)을 높여야 한다 : 즉, 고객당 이익률(Profit Margin per Customer), 고객당 평균 가치(Avg. Customer value), 고객 생애주기에 집중해야 한다.
- 사용자 유지 비율을 높여야 한다 : retention rate이 핵심 지표인 이유다.
Customer Lifetime Value(CLV)에 대해서는 나중에 별도로 좀 더 정리해보고자 한다.
CAC(Customer Acquisition Costs) — 고객 확보 비용
사용자 1명을 확보하기 위해 들어간 비용 또는 유료 고객 1명을 확보하는데 들어간 비용.
말그대로 1명의 고객을 확보하기 위해 사용한 비용을 의미한다.
예를들어, 1달 동안 845,000원의 마케팅 비용으로 10,000명의 새로운 고객을 확보했다면, CAC는 84.5원이 된다. CAC가 낮다라는 것은 최소한의 비용으로 새로운 고객을 최대한 확보하고 있다라는 의미이다. 하지만, CAC 자체만으로는 현재의 수익성을 판단할 수는 없다. 만약 CAC가 CLV보다 높다면, 그것은 손실이 발생하고 있다는 것을 의미한다.
따라서, Largest Volume(#), Lowest Cost($), Best Performing(%)에 따라서 CAC를 낮추기 위한 대응 시나리오를 마련해야 할 것이다.
Bounce Rate — 이탈률
이탈률은 제품의 가치 전달이 제대로 이루어지고 있는지에 대한 또 다른 표현이다.(사용자 유지와 마찬가지로)
단계별, 시기별로 이탈률을 측정할 수 있어야 한다. 사용자들이 어디에서 이탈하고 있는지, 왜 그 단계에서 이탈 — UX/UI의 문제인지, 제품의 사용성의 문제인지, 제품의 업데이트가 문제인지 — 을 하는지를 측정하고, 방지하기 위한 다양한 노력을 수행해야 한다.
사용자 리텐션 비율(User Retention Rate)과 이탈률(Bounce Rate)의 측정에 있어서 중요한 점은, 사용자 인게이지먼트 주기(User Engagement Cycle) — 사용자의 제품 사용주기 — 가 아닐까 한다. 매일 사용하는 제품이 있고, 1주일에 몇번, 또는 한달에 몇번 등등… 사용자의 제품 사용 주기에 따라 리텐션 비율과 이탈률의 기간이 정해져야 한다.
Referral — 추천
- 바이럴 계수(Viral Coefficient) — 제품의 사용자로 인한 새로운 사용자의 비율.예를들어, 기존의 2000명의 사용자가 친구들을 초청(5000명)하여 이를 통해 총 500명이 새로운 사용자로 가입을 했다면, 이때의 바이럴 계수는 초대율(전체 초대 건수/전체 사용자수)*수락률(새로운 사용자/초대건수) 즉, 2.5*0.10= 0.25가 된다. (Often calculated as the average number of invitations sent by each existing user times the conversion rate of invitation to new user.) 보통 1보다 클 때, 성장하고 있다고 판단. 이것은 제품이 스스로 지속 가능하다는 의미.
- 바이럴 주기(Viral Cycle Time) — 한 사용자가 다른 사용자를 초대 하는 속도. “만약 누군가가 제품을 사용하면서 다른 사람을 초대하기까지 하루밖에 안 걸린다면 사용자 수는 빠르게 증가할 것이다. 반면에 다른 사람을 초대하기까지 몇 달이 걸린다면 성장 속도는 훨씬 느릴 것이다.”
실제로 경험한 내용도 있고, 경험해보지 못한 내용들도 있다. 아무래도 경험하지 못한 내용들에 대해서는 스스로도 꽤 모호한 느낌이다. 학습하고, 실행함으로써 배우고, 그것을 다시 적용하고… 이 과정을 지속적으로 가져갔을 때, 보다 명확하고, 간단한 자신만의 분석 프레임을 가질 수 있지 않을까… 생각해본다.
다음은 Data Analytics Frameworks 2 — Eric Ries’s Engines of Growth에 대해 학습 및 정리해보고자 한다.
