유저 테스트를 통해 서비스 개선하기
미니맵은 작년에 프로그램 지원으로 해외유저 인터뷰와 테스트를 진행했다. 뭔가 온라인 테스트의 Drill을 체험해서 그런지 심리적 허들을 넘고 넘어 유저 테스트를 진행할 수 있게 되었다. (=한 번 하는게 어렵지 두번째는 술술임)
테스트 목적
검색으로 우리 서비스를 찾아오는 유저를 대상으로 매끄러운 체험을 하시는지 알고 싶었다. 미니맵은 약 50%의 유저들이 검색엔진을 통해 방문한다. 여타 앱서비스처럼 발견-설치-실행을 통해 일관된 경로로 제품을 체험하는 것이 아니라, 아예 들어오는 입구가 사람마다 다르다. 어떤 입구로 들어오시는지에 따라 경험이 달라질 수 있기 때문에, 랜딩 이후 경험을 개선하기 위해 테스트를 설계했다.
사전 준비
- 시나리오와 가설 준비
유저의 테스트 시나리오를 준비한다. 랜딩 이후 유저의 이동/관심 분기를 모두 체크하고 어떤 곳에서 불편함이나 좌절을 느끼실지 예상해 본다.
검증할 가설도 준비한다. 시나리오대로 유저분들께서 수행하면서 예상되는 부분을 가설로 세워본다.
2. 인터뷰이 리크루팅
인터뷰이의 상세 조건을 정한다. 나이, 성별등 범위를 정하고 우리는 게임 서비스다보니 게임에 관심이 있는 분들 중 미니맵을 모르는 분들을 섭외한다. 이 부분이 상당히 어려운데 서비스명을 밝히지 않고 섭외가 이루어져야 하니 사전 이메일 전송도 회사 도메인이 찍힌 이메일로는 보내면 안된다. 시간, 장소, 규모와 보상도 정해야 한다.
3. 사전 설문조사 만들기
구글폼을 통해 게임 이용 행태에 대한 부분을 사전에 설문으로 받았다. 5분 정도 소요되는 분량으로, 실제 인터뷰 전 인터뷰이에 대한 대략의 정보 예측과 인터뷰 후 인터뷰-설문지간의 갭을 확인할 수 있다.
설문조사 링크는 인터뷰 일정과 함께 보냈는데 우리를 전혀 모르는 인터뷰이와의 커뮤니케이션에 중요한 역할을 한다. 설문을 완료하시면 일단 참여 의사가 더 확실한 것으로 판단할 수 있기 때문이다.
4. 인터뷰 내용 설계
시간을 나누어 질문 내용을 정한다. 인터뷰이의 대답에 따라 후속 질문은 달라질 수 있지만 필수 질문은 사전에 따로 정해놓고 공통적으로 꼭 물어본다.
인터뷰 설계는 위 책도 참고했다. 매우 기본적인 내용을 책을 보며 확인할 수 있다. 돌발 사례도 나와있기 때문에 마음의 준비를 조금 더 할 수 있는 좋은 효과가 있다. 사실 업무 관련 책들은 그때그때 필드 교범처럼 참조할 수 있는 게 기본적으로 필요한데 적합한 책이라고 생각한다.
5. 모의 인터뷰
인터뷰 환경과 동일하게 세팅하고 내부 팀원을 대상으로 모의 인터뷰를 진행했다. Zoom으로 진행했기 때문에 음성 전달이나 화면공유 등이 잘 되는지 체크한다. 또 인터뷰 시간이 초과되지 않는지도 확인한다.
실제 인터뷰
인터뷰는 비대면으로 진행했고 요즘 화상통화를 위한 장비 등은 인터뷰이분들도 다 갖춰놓으셔서 진행에 문제는 전혀 없었다. 대학생분들이 많아서 업무시간 내에 인터뷰가 많이 이루어졌다.
인터뷰 진행자는 화면 앞에서 인터뷰를 진행하고, 화면은 추후 분석을 위해 녹화하며 사전 동의를 받는다. 다른 사람들은 미팅룸에 들어가서 유저액션을 실시간으로 관찰하며 그 중 한 사람은 인터뷰이의 대답을 받아적는다. 내가 받아적는 역할을 했는데, 사람마다 다르겠지만 보통 UT 진행 시 UT영상을 돌려보는 경우는 거의 없기 때문에 거의 모든 말을 다 받아적으려고 노력했다. 5명만 진행해도 5시간 분량의 영상이고 해당 부분을 찾는 것도 쉽지 않다.
인터뷰 이후
사실 유저 인터뷰는 너무 재밌기도 하고 뼈가 순살이 되기도 하고 정신이 멍해지는 한편 감사와 안도감이 들기도 한다.
재미: 우리가 만든 서비스를 이용하는 모습을 실제로 보는 것 자체가 재밌는 것은 당연하다. 그래프랑 숫자로 맨날 보지만 그럼에도 유저 인터뷰는 꼭 해야 한다.
뼈맞기: 인터뷰이의 지적사항에 뼈 많이 맞아서 순살로 다시 태어난다. 기쁜 순간도 많지만 그냥 절로 머리가 조아려진다.
멍해지기: 어이없는 실수에 정신이 멍해지기도 한다. 인터뷰에 참여한 우리 셋 다 ‘저걸.. 왜 저때 저렇게 했죠…? 왜 아무도 몰랐지?’ 이해가 가지 않는 상황을 발견하기도 했다.
안도하기: 서비스의 핵심 가치가 있다. 트래픽의 유혹을 이겨내기 힘들 때 그래도 이러면 안되지… 하는 부분, 그 부분을 알아봐주시고 공감해주실 때 안도감이 든다.
Clustering
클러스터링 작업은 미로(miro.com)로 진행했고 각자 정리한 후 하나씩 검토했다. 여기까지는 그래도 할 만 하고 즐겁지만 여기서 Task를 도출하고 우선순위를 정하는 게 진짜 힘들다. 특히 당장 고치고 싶은 부분이 작업량이 많고 시간이 오래 걸릴 경우도 있기 때문에, 유저보이스를 듣고 정리 이후가 사실 더 문제일 수도 있다. 또 반응을 오독하는 경우도 많을텐데, 인터뷰에 참여했던 팀원들 모두 함께 이야기를 나눠보면 좋다.
마치며
이렇게 해서 검색 랜딩 유저에 대한 인터뷰가 끝나고, 서비스를 업데이트하고, 비슷한 시나리오로 9월에 또 인터뷰를 하기로 했다. GA에 이벤트 다 찍히지만 그래도 유저분들을 직접 보는 것은 꼭 필요하다. (원래는 한 달에 한 번 하는 게 목표였는데 그렇게는 현실적으로 😂) 검색 랜딩 유저분들뿐 아니라 다른 그룹의 유저 인터뷰도 진행해보고 싶다.
이번에도 뭔가 계시를 얻길 바라며!
