구독, 가격테스트 (2)
🐮 Intro
앞선 글에서 가격테스트 실험 준비과정에 대해서 상세하게 나누었었다.
앞 글을 통해서, 실험 성공 기준과 실험 설계에 대한 도움을 받으시길 바란다.
이번 글에서는 실험 결과와 배움을 나누고자 한다.
특히, 실험 결과가 충격?적 이여서, 팀내에 더 배움이 많았다.
🧪 실험 진행
실험은 나름 긴 시간을 거쳐 진행했었다.iOS는 6주, Android 7주를 돌렸다.
팀내 리소스 분배를 하다보니, iOS 실험이 먼저 들어갔고, 그다음에 Android 가 실험에 들어갔다.
타겟은 구독 매출에 주요 영향을 주는 탑 3국가를 기준으로 실험을 돌렸고,
양 플랫폼 별로 실험군 총 4개의 그룹을 만들어 진행하였다.
신규 사용자를 대상으로 각 그룹당 샘플 사이즈는 iOS는 약 5만명, Android는 약 1.5만명씩 진행하였다. 고로, 전체 실험 참여자는 iOS는 20만명, Android 는 6만명 정도 였다.
실험군은 총 4개의 가격 세트를 만들어서 진행하였다.
- 🌝 그룹 A: 월간(Ma) + 연간(Aa) (대조군)
- ☀️ 그룹 B: 월간(Mb) + 연간(Aa)
- ☀️ 그룹 C: 월간(Mc) + 연간(Ab)
- ☀️ 그룹 D: 월간(Md) + 연간(Ab)
😱 실험 결과
먼저 실험한 iOS 결과가 7월 둘째주에 분석이 완료가 되었다.
결과는 그룹C가 대조군 대비 15% 개선 효과를 보여주어서 그룹 C를 베이스라인 하였다. 그 이후 실험한 Android 결과는 조금늦게 8월말에 분석이 완료가 되었다.
Android 결과는 iOS 와 상이하게 대조군이 이겼다.
- iOS 위너: 그룹 C,
- Android 위너: 그룹 A(대조군),
하….
결과가 상이하게 나왔기 때문에, 어찌할수 없다. 둘간에 다른 가격을 진행하기로 했다.
직관적으로 같은 서비스가 플랫폼간 다른 가격으로 갔을때의 우려는 팀내에서도 있었다.
그 부분은 팀원들과 실험 결과에 대해 더 깊은 논의를 나누었다.
그 과정에서 얻은 배움은 밑에서…
그래도, iOS MRR 비율도 크다 보니, 실험 위너 베이스라인 이후, 전체 MRR 에는 긍정적인 효과를 보여주었다.
🐮 배움
먼저, 두 서비스의 목표는 “성공적인 아침을 제공”한다는 점에서 같지만, 두 모바일 플랫폼 앱의 UX면에서 통일이 안되부분이 조금 있다.
또한, 각 플랫폼 특색에 따라 다르게 제공되는 기능들이 있다. (예를 들면, 전원 끄기 방지, 앱 삭제 방지, 알람 해제화면 오버 디스플레이 등등)
어떻게 한 서비스가, 플랫폼이 다르다고 UX가 다를수 있지? 생각할 수 있지만,
이건 제품과 사용자에게 어떤 가치를 줄까에 대한 철학에 따라서 달라질수 있다고 생각한다.
각 플랫폼 특성에 맞추어 서비스를 최적화하는 예는 최근 구글에서도 찾아 볼수 있었다.
(구글이 iOS 앱에서 Material Design 을 버리고, UIKit, AppKit 을 활용하기로 했다고…)
추가로, 이전에 돌렸던 여러 실험들중에 양 플랫폼간에 실험 결과가 다르게 나와서, 그대로 베이스 라인 되었던 기획들도 있어서, UX간 다른 부분도 일부 있다. (실험의 경우, 기존 보다 더 나은 결과와 UX를 통일할수 있는 후속 가설을 만들어서 통일해가는 것을 지향한다)
프리미엄 기능간에도 플랫폼 사이에 일부 차이가 있었던 부분도 있다.
물론, 팀 내부에서는 플랫폼 특성을 제외한 측면에서, 통일화하는 방향에 대해서 꾸준히 고민을 하고 있고, 그결과 ADS(Alarmy Design System) 을 통해 녹여내고 있는 중이다.
결론적으로, 두 플랫폼간에 프리미엄 기능의 가치에 대해서 다르게 소구 하고 있음을 확인했다.
iOS가 Android 보다 더 적극적으로 소구하고 있었다. 이러다 보니, 실제로 제품의 가치를 느끼는 사용자에 입장에서, 양플랫폼간 다르게 인식되고 있음을 이번 가격 테스트를 통해서 알게 되었다.
🔥 후속 액션
가격 테스트 결과 섭스가 선택한 방향은
- 양 플랫폼간 프리미엄 기능 차이 및 가치 전달 측면에서 통일화하기
- 그 이후에 가격도 통일
그래서 섭스팀에서는 프리미엄 가치 전달 통일화 작업에 대해서 거의 한분기 정도 진행하였다.
현재는 두 플랫폼간에 프리미엄 기능의 차이와 가치 전달 측면에서 90% 이상 통일화 시킨 상태이다.
💡결론
가격테스트의 목표는 MRR 증대에서 시작했지만,
다른 관점으로 해석하면, 현재 제공하고 있는 유료 기능에 대해 사용자에게 평가를 받는 시험과도 같은 일이라고 생각이 들었다.
왜냐하면, 실험의 결과가 바로, 사용자가 시장에서 인정한 가치이기 때문이다.
섭스팀은 이 실험을 통해서 어떤 부분에서 전달이 부족했는지 더 집중할수 있었고, 그로 인해서 새로운 그로스 루프의 시드를 얻을수 있었다.
딜라이트룸에서는 제품의 본질을 끊임없이 추구하고 다양한 고민들을 함께해나가며제품을 만들어가고 있습니다. 함께 알람의 정의를 단순히 시간을 알려주는 도구가 아니라, 자기 전부터 일어난 후까지 책임지는 서비스로 재정의하는 제로투원 경험을 함께 해나갈 분을 찾습니다! 채용 페이지를 참고해주세요.
캐쥬얼한 티타임과 잡담을 좋아하니, 현재 열려있는 포지션과 별개로 딜라이트룸에 관심 있으신 분들은 jason@delightroom.com 으로 연락주세요 :)
