A/B Test로 VOC 줄이기
아이디어스팀은 어떤 방식으로 서비스를 개선해서 VOC(고객의 불편문의)를 줄일 수 있었을까요?
‘Product Owner 이근종, Product Designer Goeun Kim’ 이 공동 작성했습니다.
들어가며
안녕하세요, 아이디어스의 Product Owner 이근종🙋♂️, Product Designer 김고은🙋♀️입니다.
오늘은 아이디어스팀이 서비스 개선과 *A/B Test를 통해 고객센터 VOC(고객센터로 문의하는 불편사항)를 줄일 수 있었던 배경과 과정, 결과를 소개하려 합니다.
*A/B test란?
기존 서비스 A와 새로 적용하고 싶은 서비스 B를 각각 노출하여 고객의 반응을 알아보는 방법프로덕트 개선의 시작점은 어디일까요?
크게 정량적 데이터 분석에 의한 개선과 정성적 피드백에 의한 개선으로 나눌 수 있습니다.
전자의 분석된 데이터를 기반으로 프로덕트를 개선하는 것도 중요하지만 후자의 불편사항 대응에 소홀할 경우, 고객의 민심을 잃고 난파할 가능성이 그만큼 커지겠지요.
때문에 아이디어스팀은 후자의 핵심 Source인 VOC에 효과적으로 대응하기 위해, 스프린트 단위로 VOC TOP 10 미팅을 진행합니다. 🧑🏫
미팅에서 VOC를 유형별로 분류하여 통계자료와 건의사항을 공유하면, PO를 포함한 관련 관계자들이 이슈의 해결방안에 대해 논의한 후, 개선할 아이템을 도출하고 프로젝트 담당자를 할당하는 방식으로 운영됩니다.
개선 배경
아이디어스 고객센터에서 처리하는 VOC의 비중은 이러했습니다.
2021년 2주마다 진행한 VOC TOP 10에서 가장 큰 비중을 차지한 VOC는 ‘작품/배송 관련 문의’ 였습니다.
아이디어스 내 다수 작품은 수공예품입니다.
때문에 작가님의 작업 상황에 따라 ‘작품 완성일, 배송일’ 이 유동적으로 변경될 수 있죠.
이러한 특성 때문에 ‘작품/배송 관련 문의’ 는 기존 Flow대로 아이디어스를 통하지 않고 개선 Flow처럼 작가님과 고객이 1:1로 소통할 때 가장 빠른 답변을 받을 수 있습니다.
하지만 작품 상세페이지의 작가님과 고객의 1:1 소통을 지원해 주는 (작가문의)채팅 기능이 있음에도 불구하고, 많은 고객이 ‘작가문의’ 를 발견하지 못하는 문제점이 있었습니다. 그러다 보니 접수되는 대다수의 VOC가 ‘작품/배송 관련 문의’ 방법이었죠.
이러한 문제를 해결하기 위하여 “어떻게 하면 작품/주문 배송 관련 고객센터 VOC를 줄일 수 있을까?” 라는 질문으로 A/B Test를 진행하였습니다.
Step 1. ‘작가문의’ 버튼 시인성 개선 A/B Test
아이디어스의 작품 상세페이지에는 작가와 고객의 1:1 소통을 지원해 주는 채팅 기능인 ‘작가문의’ 가 있습니다. 😁
‘작가문의’는 화면의 우측 하단에 떠 있는 Floating Button을 통해 진입이 가능합니다. 하지만 버튼을 발견하기 어려운 대다수의 고객을 위하여 시인성을 높여, 작품과 관련된 배송 등의 문의를 고객센터가 아닌 작가와의 1:1 채널로 전환 시키고자 했습니다.
그리고!! 목표 달성을 위한 첫 번째 A/B Test를 시작하게 됩니다.💪
개선배경
- PDP, 작가홈 등에 위치한 ‘작가문의’ 버튼을 발견하지 못하여 CS 인입이 많은 상황.
- CS인입 건수를 줄이기 위해 ‘작가문의’ 버튼의 시인성을 높이는 디자인 개선 작업을 진행. ‘작가문의’가 위치한 ‘작품 상세 페이지’ 내 주문 전환율에 변동을 줄 수 있기 때문에 [CS가 줄면서도 주문 전환율에 영향을 주는지, 거래액 감소를 야기하지 는지]를 확인하려함.
가설
- 시인성을 높인 ‘작가문의’ 버튼이 고객의 주문 전환율 및 거래액에 부정적인 영향을 주지 않을 것이다.
성공지표
‘개선 배경, 가설, 성공 지표’ 를 정의하고 A:B:C:D(25:25:25:25) 비율로, 4개의 시안을 시험대에 올렸습니다.
Test 결과!!🥁
C안에서 유의미한 작가문의 버튼 클릭률 +9.74%가 확인되어
‘C안’ 으로 Test를 종료하게 됩니다.
A/B Test는 목표지표를 올리는데 성공했습니다.
하지만 시일이 지나도 여전히 고객센터로 문의되는 VOC의 다수는 ‘작품/주문 배송 관련 문의’ 가 1등으로...🥲
Step 2. ‘내정보►고객센터’ 에 ‘작가문의’ 문구 추가
우리는 작품/주문배송 관련 문의를 작가님과의 1:1문의로 리다이렉팅(URL에서 자동으로 다른 URL로 보내버리는 것) 하기 위해, App에서 고객센터로 유선 연결을 할 수 있는 경로의 마지막 단계에 “작품 관련 문의는 작가문의를 통해 진행해달라”는 안내성 메시지를 추가했습니다.
하지만 개선 이후 VOC의 추이를 봤을 때, 여전히 작품/주문배송 관련 문의의 비중이 1등으로 나타났습니다.
다른 관점의 접근이 필요한 상황이었죠..🤔
Step 3. A/B Test 2차
본격적인 문제해결을 위해, VOC 인입 사용자의 이용 플랫폼 정보를 수치화하기 시작했습니다.
수치화된 그래프를 보면 그동안은 몰랐던 사실이 수면위로 올라왔는데요~
바로 작품/배송 관련 문의가 Web 사용자에게서 인입되는 경우가 가장 많았다는 것입니다. 우리는 주어진 인사이트를 가지고, 개선의 첫 타겟을 Web으로 좁혀 접근하기 시작했습니다.
그리고 Web의 작가문의 사용성을 Deep Dive 해보며, 다음과 같은 문제점이 도출되었죠..🫣
문제해결을 위해, Desktop Web에만 한정하여 작가문의 버튼의 시인성 개선 A/B Test를 진행하기로 했습니다.
작품 상세페이지에 작가문의 버튼의 UI와 위치를 변경하고, 버튼 레이블을 보다 직관적이고 사용성과 Align하게 변경하는 안을 추가하여 A/B Test를 설계했습니다. 우선 가장 많은 VOC가 들어온 채널인 Desktop Web에서 테스트를 진행하고, 그에 따른 Learning을 여타 플랫폼에 적용하고자 하는 계획이었죠!
개선배경
- 작품/주문 관련한 VOC가 고객센터로의 VOC TOP 10에 꾸준히 가장 많은 비중을 차지하고 있으며, 특히 Desktop 사용자들의 비중이 높게 집계됨.
가설
- Desktop Web에서 ‘작가문의’ 버튼을 개선하여 시인성을 확보하면, ‘고객-작가’의 1:1문의가 늘어나고 고객선터로 VOC 비중이 줄어들 것이다.
성공지표
기능 정의
그리고, 테스트가 진행된 지 3일 차…🥁!!!
C버전에서 목표하던 사용자당 평균 작가문의 버튼 클릭율 지표가 유의미하게 상승했습니다! 👏👏👏
하지만, 신경이 쓰이는 부분이 있었죠. 바로 B버전에서 *가드레일 지표인 구매전환율에 하락 추세가 보였다는 것입니다. 만약 B버전의 가드레일 지표가 하락한 원인이 UI 개선에 있다면, 동일한 위치/UI가 적용된 C버전에도 부정적인 결과가 나올 수도 있을테니까요.
하지만 아직 3일밖에 테스트가 진행되지 않았고, 또 C버전에서는 유의한 구매전환율 하락이 관측되지 않았기 때문에, 모니터링은 계속되었습니다. (일반적인 경우, A/B Test는 통상 일주일 이상의 기간을 두고 진행합니다.)
*가드레일 지표란?
Test의 목표지표와는 별개로, 프로덕트에 저해가 되지 않도록 지켜야하는 지표그리고 대망의 일주일 후!!
성공지표인 사용자 당 평균 작가문의 버튼 클릭율은 A그룹 대비 B그룹에서 +82.97%, C그룹에서 +95.47%로 월등히 높은 수치를 기록했습니다.
우려했던 가드레일 지표인 구매전환율에도 유의하게 부정적인 지표는 관측되지 않았고요~🙌
추가로, 실제 작가문의 관련 VOC 건수는 어떻게 됐을지 확인해보았습니다.
작가문의 버튼의 클릭율이 올랐다 해도, 실제 고객센터로 인입되는 VOC의 비중에 변화가 없다면, 근본적인 문제해결은 아직 갈 길이 남았을 테니까요.
데이터를 확인한 결과, 짧은 기간으로 온전히 대표성을 띠기는 어렵겠지만 눈에 보이는 작품/배송 관련 문의건수는 확연히 줄어든 양상을 보였습니다.
그렇다면, 결과적으로 A:B 그룹과 A:C 그룹 각각의 증감 효과를 비교했을 때 A:C 그룹의 증감율이 더 크게 나왔어요🥳
A/B 테스트는 C그룹으로 종료!!
후속 Action Items
A/B Test는 성황리에 끝났고, 이제 후속 조치가 남았습니다.
진행했던 A/B Test에서 얻은 Learning을 바탕으로, Desktop Web 외의 다른 플랫폼에서도 작가문의 버튼 레이블을 일괄 변경하는 작업이 진행되어야 했죠.
레이블 변경 영향범위를 찾는 도중 뜻하지 않은 허들을 만났습니다. 바로 아이디어스에서 서비스하는 또 다른 BM인 ‘온라인/오프라인 클래스’였죠.
클래스의 상세페이지에서는 ‘작가문의’라는 레이블이 적합하지 않을 수 있다는게 이슈 였습니다.
그렇다면 클래스 상세페이지에만 ‘클래스문의’와 같은 워딩으로 버튼 레이블을 적용하거나, 작품과 클래스 모두 범용적으로 사용할 수 있을 워딩으로 3차 A/B Test를 진행할 수 있겠군요! 개선은 다음 Phase로 넘어갑니다.
아이디어스팀의 서비스 개선은, 언제나 현재진행형입니다. 💪
아이디어스 PO/UX Unit은 A/B Test를 통해 과감한 도전과 다양한 실험을 시도하고 있습니다.
이 여정에 함께 하고 싶은 분은 아래 링크로 연락 주세요.
Written by idus PO/UX Unit
아이디어스팀과 함께 할 PO, Product Designer를 영입 중 입니다!
지금 여기 PO / Product Designer에서 지원해 보세요!
