안녕하세요, 프로덕트 매니저 Archy 입니다 :)
튜링에서는 서비스와 지표 개선을 위해서 다양한 실험을 진행하고 있습니다. 오늘은 튜링에서 결제 전환을 올리기 위해 진행했던 AB테스트에 대해서 들려 드리겠습니다.
실험의 발단 : 문제 발견
“아키 저희 결제 퍼널에서 이탈이 너무 높은 거 아니에요?”
실험을 시작하기 전 상황을 먼저 공유드리면,
기존 결제 퍼널은 결제 화면이 너무 깊숙한 뎁스에 숨겨져 있어 유저에게 제대로 인지시킬 수 없는 문제를 가지고 있었습니다.
이에 대한 해결책으로 결제 화면을 하단 탭으로 이동하여 스토어 탭이 추가되는 방식으로 화면을 개선하였습니다.
또한 스토어 탭과 함께 구매 직전 단계에 패스(구독권) 구매를 유도하는 넛지 스크린*이 추가되었습니다.
*넛지 스크린이란?
수학대왕에서 일반 유저가 패스(프리미엄) 유저 전용 기능을 마주쳤을 때 나오는 화면으로 킹패스의 구매를 유도하는 역할을 합니다. 패스 유저 전용 기능으로는 크게 문제, 강의, 장학금이 있습니다. pay wall로도 불립니다.
하지만 부푼 기대도 잠시, 기능 출시 후 튜링에서 사용 중인 PA툴(Product Analytics tool)인 앰플리튜드로 퍼널을 분석해 보니 사용자가 이탈하는 지점들을 발견할 수 있었습니다.
준비 단계1 : 가설 수립
먼저 결제 퍼널의 데이터를 뜯어보았습니다. 데이터를 뜯어본 결과 퍼널 별로 모두 개선이 필요한 지점들이 있었지만, 저희가 가장 먼저 집중한 부분은 넛지 스크린이였습니다.
넛지 스크린은 결제 퍼널의 시작이자, 가장 많은 유저들이 마주치는 화면입니다. 따라서 이 화면을 개선했을 때 가장 임팩트를 크게 낼 수 있는 지점으로 판단하여 가설을 수립하기 시작했습니다.
그 다음 기존의 넛지 스크린이 가지고 있는 문제 가설을 세우기 시작했습니다.
- “킹패스에 대한 설명을 제대로 해주지 않고 있다.”
- “기능 제한으로 인한 진입 지점별로 유저가 원하는 게 다를 텐데 모든 진입 지점에서 동일한 메세지로 이야기한다.”
- “표로 들어간 설명이 와닿지 않는다.”
- “용어가 이해가지 않는다.”
- “굳이 넛지 스크린이 필요하지 않을 것이다. 바로 상품을 봤을 때 구매할 것이다.”
- “왜 갑자기 넛지 스크린이 나오는지 이해할 수 없다."
- ETC
저희는 익숙해서 괜찮다고 생각했던 화면을 데이터에 기반하여 유저의 관점에서 다시 바라보니 유저들이 왜 이탈하고 있는지에 대해 이해할 수 있었습니다.
준비 단계2 : 솔루션 가설 수립
의견들을 다 반영해서 전체 유저를 대상으로 출시할 수도 있겠지만, 결제 퍼널이야말로 KPI에 큰 영향을 미치는 화면이기 때문에 위에서 정의한 문제가설 들을 기반으로 솔루션 가설을 만들고 하나씩 테스트 해보기로 했습니다.
하나씩 테스트를 진행한 이유는 모든 솔루션 가설을 합쳐서 실험을 진행하면 유저들이 어떤 변인*으로 인해서 전환이 높아졌는지(혹은 낮아지는지)를 파악하고 앞으로의 제품에도 반영하기 위해서입니다.
*변인이란?
변인 혹은 쉽게 변수라고도 표현합니다. 변인에는 독립변인과 종속변인이 있고, 독립변인에는 조작변인과 통제변인이 있습니다. 조작변인은 실험 결과에 영향을 미치는 요소로 저희가 세운 솔루션 가설들이 해당합니다.
1차 테스트
문제 가설1 : 모달로 들어간 설명이 와닿지 않는다.
솔루션 가설1 : 결제시 어떤 기능들을 사용할 수 있는지 한눈에 볼 수 있게 하자.
문제 가설2 : 굳이 넛지 스크린이 필요하지 않을 것이다.
솔루션 가설2 : 넛지 스크린을 없애고 바로 상품 화면을 보여주자
문제 가설3 : 왜 갑자기 넛지 스크린이 나오는지 이해할 수 없다.
솔루션 가설 3: 넛지 스크린 진입 전에 인지할 수 있게 해주자.
위의 가설들을 테스트하며 데이터를 보니 결과는 흥미로웠습니다.
“아니 분명히 개선될 줄 알았는데 왜 떨어졌을까요…?”
“원래 그래요 10개 중에 9개는 실패할 겁니다. 아무리 높은 확신을 가져도 결과는 다를 수 있어요, 이 영상 보시면 도움이 될 거예요.”
2차 테스트
문제 가설4 : 표가 깔끔하지만 눈에 잘 들어오지 않고, 이해되지 않는다.
솔루션 가설4 : 서비스에서 사용되는 아이콘과 함께 설명을 나열해서 보여주자.
실험의 시작과 분석 : P-Value*
*P-Value란?
Probability-Value의 줄임말로 어떤 사건이 우연히 일어날 확률을 뜻합니다.
“오! Variant A 전환이 Baseline 보다 전환이 훨씬 높은데 종료할까요?”
실험을 시작하자마자 생각보다 빠르게 VariantA(조작변인)에서 기존보다 훨씬 높은 전환이 나오는 상황이였습니다. 실험을 진행하면서 이보다 더 기쁜 순간이 있을까? 하지만 이대로 끝낼 수는 없었습니다. 정말로 유의미한 데이터인지 확인이 필요했습니다.
튜링에서는 AB테스팅 툴로 Firebase를 사용하고 있는데, Firebase AB테스트의 특성상 실험 기간이 정말 깁니다. 때문에 거의 모든 실험을 통계적 유의성을 계산해서 유의성이 있다면 직접 종료하고 있습니다. 실험을 종료하기 전 꼭 확인하는 사항들이 몇 가지 있습니다.
통계적으로 유의성이 있는 결과인가?
ㄴ 95% 이상의 신뢰 수준이 나와야 한다.
P-Value는 어떤가?
ㄴ 0.05 이하여야 한다.
모수는 적정한가?
ㄴ 전환율 기반으로 판단.
통계적 유의성 계산을 위해 A/B Testing Calculator를 활용하고 있습니다.
이후 해당 실험은 약 1주일 정도의 기간을 더 유지하고 나서야 유의성이 있는 결과가 나왔고, 실험을 종료할 수 있었습니다.
실험 종료 : Lesson Learn
아래는 솔루션 가설4와 그 이후에 추가로 진행된 실험 결과이고 Firebase에서 확인하였습니다.
*솔루션 가설4에서 높은 전환율 개선이 이뤄졌습니다.
일련의 실험들을 통해서 팀 내부에 AB테스트 문화가 자리 잡을 수 있었습니다. 의견이 갈리거나 KPI에 영향을 많이 미치는 변화라면 논쟁할 시간에 AB테스트를 빠르게 돌리는 팀이 되었습니다.
이후에도 지속적인 실험을 통해 40.9%에서77.1%까지 전환률을 끌어올릴 수 있었고, 현재도 다양한 실험들을 진행하며 결제 퍼널을 개선하고 있습니다.
앞으로도 많은 변화가 있을 예정이지만 테스트를 통한 현재의 모습을 궁금해 하실 것 같아서 글을 작성하는 시점 넛지 스크린과 스토어 탭의 모습도 공유드립니다.
Lesson Learn
- 유저와는 최대한 직관적이고 쉽게 이해할 수 있게 소통해야 한다.
- 빠르게 기능을 출시하는 것도 중요하지만 계속 지표를 트랙킹하고 개선하는 것을 잊지 말자.
