Aug 8, 2020
가설로 검증하며 디자인해보기
매주 수요일 오전에는 오일나우 팀의 개발자와 마케터, 디자이너가 모여 고객을 분석하는 사내 스터디를 한다. 마케터님이 미리 세팅해놓은 Amplitude라는 툴을 이용해 수집한 데이터를 분석하는 시간을 가진다. Amplitude는 세션 단위로 트래킹 되는 GA와 다르게 이벤트와 사용자의 속성으로 트래킹 되고, Touchpoint로 어느 화면에서 사용자가 접근했는지 확인할 수 있어 사용자의 행동을 분석하기에 좋다.
이 글에서는 사내 스터디에서 진행한 데이터 분석을 활용해 ‘가설’과 ‘데이터’로 디자인한 경험을 글로 풀어보려고 한다.
문제 파악하기
오일나우는 가장 빠른 주유소 검색 앱이다. 전국 12,000여 개의 주유소 정보를 실시간으로 제공하고 있는데, 정보의 정확도와 최신성을 유지하여 사용자의 신뢰도를 높이는 게 중요하다.
앱을 통해 방문한 주유소가 영업이 끝나있다면? 사용자의 앱 신뢰가 급격히 하락할 것이다.
주유소마다 영업 시간이 상이하기 때문에 늦은 저녁 방문한 사용자는 이미 문 닫은 주유소에 방문할 가능성이 높다. 지역마다 다르지만 보통 오전 6시부터 문을 열어 8~10시쯤 문을 닫는다.
늦은 저녁에는 24시간 영업하는 주유소를 찾아가는 수 밖에 없다.
오일나우는 주유소의 24시 영업 여부를 표시해주고 있는데, 앱에서 표기하고 있는 방식에서 문제점을 발견했다.
[번거로운 24시 주유소 검색 과정]
오일나우에서 24시 주유소를 찾기 위해서는 [검색]-[주유소 탐색]-[주유소 클릭]-[상세보기]-[24시 표시 찾기] 과정을 거쳐야 한다.
24시 주유소만 모아볼 수 있는 기능이 없어서 일일이 주유소를 클릭해서 확인해야만 한다.
문제 해결하기
[늦은 저녁엔 24시 주유소로 방문을 유도]
오후 8시부터 다음날 오전 6시까지는 주유소가 문을 닫았을 확률이 높다. 이 시간에 주유소를 검색할 경우 24시 주유소로 방문을 유도해야 한다.
20:00~06:00에는 24시 필터가 잘 보이도록 주유소 탐색 화면에 노출시켰다.
[24시 주유소만 모아볼 수 있는 필터]
일일이 확인하지 않아도 24시 주유소만 모아볼 수 있는 필터 기능을 추가했다.
사용자가 쉽게 기능을 끄고 켤 수 있도록 버튼을 전면에 배치했다. 상단에 [필터] 메뉴가 있음에도, 더 적극적으로 24시 필터를 이용하도록 유도하기 위해 탐색 화면 전면에 배치했다.
사용자가 설정한 ON/OFF 값은 디바이스에 저장하여 선호하는 검색 환경을 유지하도록 했다.
가설 세우기
문제가 해결되었는지 검증할 수 있는 지표 데이터를 수집해야 한다. 수집할 데이터를 설계하기 위한 ‘가설’을 세운다.
가설을 사용하는 이유는, 의사 결정 시간을 단축하기 위해서다. 모든 정보를 수집하고 분석하여 결론을 도출할 수도 있지만, 시간과 인력이 부족한 스타트업에서는 가설 → 실험 → 검증을 반복하는 프로세스를 이용하는 것이 효율적이다.
가설이란?
정보를 수집하는 도중이나 분석 작업을 하기 전에 세우는 가상의 해답이다.
데이터 분석하기
[사용자가 앱을 실행]→[주유소를 검색]→[주유소를 탐색]→[주유소까지 길 안내]
이 과업 소요시간이 단축되면, 위 가설은 성립한다.
데이터를 분석하기에 앞서, 상세 분석 조건을 설정하고 시작한다.
비교하기 위해 사용자를 크게 세 분류로 나눴다.
그룹(1) : ‘24시 필터’ 기능이 추가되기 전, 사용자
그룹(2) : ‘24시 필터’ 기능이 추가된 후, 그룹(1) 중 업데이트를 안한 사용자
그룹(3) : ‘24시 필터’ 기능이 추가된 후, 그룹(1) 중 업데이트를 한 사용자
분석 결과 확인하기
사용자가 주유소를 찾는데 소요한 시간이다.
평균값(Average Time)은 여러 가지 변수가 있다고 판단하여, 중간값(Median)을 이용해 비교했다.
- (1)번 그룹의 과업 소요시간의 중간값은 1m37s
- (2)번 그룹과 (3)그룹의 과업 소요시간은 각각 1m34s, 1m29s
- 같은 기간에 ‘24시 필터’ 기능을 이용한 사용자가 5초 빨리 주유소를 찾았다.
- 업데이트 전과 후 기간을 비교했을 때는 무려 8초가 감소했다.
위와 같은 결과로, ‘24시 필터는 주유소를 찾는데 시간을 줄여준다.’라는 가설을 확인할 수 있다.
마치며
아쉬웠던 점.
- 필터 기능의 이벤트 수를 트래킹하지 못한 점
: 토글 스위치 ON/OFF가 중복 값으로 잡혀서, 기능을 켠 사용자의 유니크 값을 찾기 어려웠다. 좀 더 직접적인, 정확한 데이터를 얻을 수 있도록 설계가 필요하다고 느꼈다. - 사용자가 앱을 사용한 시간대를 특정하여 분석하지 못한 점
: 사용자가 이용한 시간대를 한정하여 데이터를 분석했다면 더 의미 있는 결과가 나오지 않았을까 하는 아쉬움이 있다.
좋았던 점
가설과 데이터를 세팅하고, 분석하는 일은 분명 오래걸리고 번거롭다. 하지만 그 과정에서도 배울 점이 있다.
미숙하지만 직접 데이터를 찾아보고, 내 디자인을 검증해가는 과정에서 다음 디자인에 대한 ‘이유’도 더 명확히 할 수 있기 때문이다.
🚙🚗 늦은 저녁, 24시 주유소를 찾을 수 있는 오일나우 보러가기 🚙🚗
참고자료
• 우치다 카즈나리. (2020). 『가설이 무기가 된다 』. 한빛비즈
