올바른 Metric 선택이란?
이 글은 Selecting the Right User Metric에 관한 글로 Defining Product Success: Metrics and Goals에 이어지는 내용입니다.
Defining product success metrics and goals 글의 요약
Top line metric : 기업의 성공과 직결되어 있는 단 하나의 지표로, 무엇이 이를 변화시킬지, 알맞은 방향으로 나아갈지, 제품의 현재 상황에 대한 진단과 평가를 하게 된다.
Facebook은 active user를 WhatsApp은 the number of sends로 알려져있다.
Top line metric을 정의할 때 참고하는 가이드를 제시하고 있는데 그 중에 몇개를 추려보면
- 하나의 지표만을 설정해야한다.
OMTM에서 말하는 바와도 일치하고, Metric hierarchy와도 연결되는 부분이다. - 제품 사용과 밀접한 지표를 설정해야한다.
유저가 데일리로 앱을 사용하는데 주 단위의 Metric을 설정하거나, 주 단위로 사용하는데 daily metric을 설정하면 유저들의 행동을 잘못 이해할 수 있다. - 비율 지표를 피한다.
기존 활동 유저를 보고 싶을 때는 ‘기존 활동 유저수'를 트래킹해야지, 기존 활동 유저의 리텐션을 보는것은 피해야한다. 리텐션을 보게 되면 분모가 되는 ‘지난주 기존 유저수'가 줄어들어서인지 ‘지속적으로 사용하고 있는 유저수'가 줄어서인지 바로 파악하기 힘들다. - 지표는 상황에 따라서 성장에 따라서 변경한다.
위클리로 사용하던 유저가 데일리로 사용 패턴이 변화한다면 데일리 지표로 변화해서 더 빠르게 대응하는 것이 좋다.
Metric 선택시 고려하는 사항
Top line metric이 Active user 인 프로덕트라고 가정할 때, active user도 다양한 카테고리로 분류됩니다. DAU/WAU/MAU 일반적으로 세 지표들은 서로 연관되어 있으며, 그중에 하나를 메인 지표로 선택하게 됩니다. 선택할때 고려하는 세가지 사항이 있습니다.
프로덕트의 비전
사람들이 주에 한번은 사용하게 하는 것이 프로덕트의 목표라면 WAU가 적절한 지표입니다. 하지만 모바일 플랫폼이 사용 빈도를 증가시키는 경향이 있으므로, 모바일 제품의 경우는 DAU를 목표 메트릭으로 선택하는 것이 좋습니다.
현재 제품 사용량
비전도 중요하지만 현재 제품이 어떻게 사용되고 있는지 보는것도 매우 중요한 지표입니다. 사람들이 하루에 여러 번 제품을 사용하는 경우 DAU 또는 일중 지표(intraday, 세션 수 또는 시간별 활성 사용자)를 가장 중요한 지표로 선택하는 것이 합리적입니다.
경쟁사의 제품 사용 현황
사람들은 매일 경쟁사의 제품을 사용하지만 우리 프로덕트를 주단위로 사용한다면, DAU를 메트릭으로 사용해야합니다. 사람들이 더 적게 참여하므로 경쟁 환경에서 제품이 성공하지 못하기 때문입니다.
← 하지만 경쟁사의 제품 사용 현황을 어떻게 알 수 있을지는 의문입니다 🤔
MAU → WAU → DAU 순으로 프로덕트의 metric을 더 철저하게 관리하게 되는 성향이 있습니다. 만일 우리 프로덕트가 경쟁사에 비해 우위에 있고, 위 예시와 반대의 상황이라면 (사람들이 우리 제품을 일별로 사용하고 경쟁사의 제품을 주단위로 사용하는 경우), DAU로 보고 있는 지표를 WAU로 완화해서 볼 필요는 없습니다.
제품이 어떻게 사용되고 있는지 확인!
제품의 용도는 제품의 의도 된 목적에 따라 다릅니다. 직장에서 사용하도록 설계된 제품은 주말 동안 사용자가 많지 않을 가능성이있는 반면, 소셜 제품은 매일 균일하게 사용됩니다.
궁극적으로 모든 제품의 사용은 다양한 장치와 플랫폼에서 다양한 방식으로 사용하는 사람들의 혼합에서 비롯됩니다. 이 조합을 이해하는 것은 제품에 대한 올바른 목표 메트릭을 정의하는 데 필수적입니다.
1. 일중 사용량에 대한 지표
사람들이 하루에 여러 번 사용하는 제품은 하루 동안 사용됩니다. 제품 사용이 데스크톱에서 휴대폰으로 점점 더 많이 전환됨에 따라 하루 중 사용되는 제품 수가 증가했습니다.
HAU : 사용자가 하루 동안 HAU로 등록한 횟수를 확인합니다. HAU 수가 많을수록 제품이 하루 중 더 많이 사용됩니다. DAU : 하루 동안 사용자 당 일일 세션 수가 많으면 제품의 일중 사용량이 많을 가능성이 높습니다.
2. 일일 사용량에 대한 지표
L5 + / 7 : 사용자의 몇 퍼센트가 주중 5 일 이상 활동하는지 알려줍니다. 큰 비율이 L5 + / L7 인 경우 제품을 일일 사용량으로 추적해야합니다.
L1 + / 7은 WAU와 동일합니다.
L21 + / 28 : 매월 20 일 이상 활동 한 사용자 비율을 알려줍니다. 큰 비율이 L21 + / L28이면 제품을 일일 사용량으로 추적해야합니다.
DAU / WAU가 60 % 이상이면 사람들이 일주일에 4 일 이상 제품을 사용한다는 의미이며, 제품은 일일 사용 제품으로 인정됩니다.
3. 주간 사용량에 대한 지표
주간 사용량이있는 제품의 경우 추적 할 주요 측정 항목은 WAU / MAU입니다. 평균 사용자가 매월 2 ~ 3 주 사이에 제품을 열면, 즉 WAU / MAU가 60 % 이상이면 해당 제품은 주간 사용량이있는 제품으로 분류 될 수 있습니다.
Microsoft Outlook, Facebook, Instagram 도 매주 사용되지만, DAU / WAU가 높기 때문에 일일 제품으로 식별하고 DAU를 주요 메트릭으로 설정하는 것이 좋습니다.
반대로 Spotify와 YouTube는 매일 사용되지 않고 거의 매주 사용되어 주간 제품으로 분류됩니다. Netflix, Walmart 및 Amazon은 매일 사용되지 않지만 한 달에 약 2 ~ 3 주 사용됩니다.
항상 60 %의 규칙을 충족하는 것은 아니지만 열망적인 관점에서 MAU 목표보다는 이러한 제품에 대한 WAU 목표를 설정하는 것이 합리적입니다.
4. 월별 및 분기 별 사용량에 대한 메트릭
MAU / QAU. 평균 사용자가 3 개월 중 2 개월 동안 제품을 열어 MAU / QAU가 60 % 이상이면 해당 제품은 월간 사용 제품입니다. 마찬가지로, 60 %의 QAU / YAU는 분기별로 사용되는 프로덕트입니다.
정리하며…
- DAU / WAU는 1/7보다 낮을 수없고 DAU / MAU는 1/28 (MAU가 28 일 동안 정의 됨)보다 작을 수 없으며 WAU / MAU는 1/4보다 낮을 수 없습니다. → 만약 각 수치가 최소 기준과 가깝다면 다음 단계를 고려해야합니다.
- 위 방식은 제품 변경 및 사용 비율이 느리다는 단점을 가지고 있습니다. 사용 비율은 주어진 시간에 제품의 전체 스냅 샷을 제공하는 느리게 이동하는 메트릭입니다. 따라서 항상 사용량 변화를 포착하지는 않습니다. 예를 들어 DAU / MAU는 신규 사용자가 제품에 참여하는 방식의 변화를 즉시 반영하지 못할 수 있습니다.
- metric을 더 타이트하게 관리할수록 전체적 지표 관리 및 상승에 도움이 될거라는 생각이 있습니다.
