직관만 믿고 까불었다가 망한 PM의 사연

안녕하세요, 검색 프로덕트 매니저 Demi예요.

당근마켓은 A/B 테스트를 잘 하려고 많은 노력을 하는 곳이에요. 실험을 잘 할 수 있는 환경을 만들고, 잘 활용할 수 있도록 계속 고민하고 있어요. 저도 그런 이야기에 말을 조금 얹는 사람이었는데, 창피하게도 정작 제가 의사결정을 내릴 때는 간과하여 큰코다친 적이 있어요. 실험 안 하고 그냥 배포했다가 힘들었던 제 이야기 들려드릴게요.

사건의 시작 : 중고거래 키워드 알림 등록 UI

중고거래 검색 결과의 필터를 개편하면서 탭 바로 아래에 있던 ‘키워드 알림 등록 버튼’의 위치를 고민하게 되었어요. 검색 필터를 밖으로 꺼내 쉽게 사용하도록 개선하고 싶었지만, 이미 검색 결과 상단에 키워드 알림을 비롯한 필터, 거래완료 안보기 등 많은 기능이 있어서 복잡해지는 것이 고민 지점이었어요. 키워드 알림 기능은 등록한 키워드로 새로운 글에 대한 알림을 바로 받아볼 수 있는 기능이고, 유저의 재방문에 큰 역할을 하기 때문에 고민이 더 깊어졌죠. 1) 직관적으로 어떤 기능인지 알 수 있고, 2) 눈에 잘 띄면서도 3) 탐색에 방해되지 않는 대안을 찾기 위해 많은 논의를 하였어요.

키워드 알림 버튼 변경 전과 후

제가 그 버튼을 숨겨버렸습니다.

배포 후 지표를 확인하고 심장이 굳는 느낌이었어요. 처음엔 데이터 로깅에 버그가 있나 싶었지만 그건 아니었어요. 검색에서의 키워드 알림 등록수가 일평균 21.3% 떨어졌고, 감수하기 어려운 너무 큰 하락이었어요. 키워드 알림을 통한 중고거래 매물의 관심과 채팅 수의 하락도 있었어요.

키워드 알림 등록수를 모바일 플랫폼으로 나눠서 보면 iOS는 Android에 비해 6배가량 더 하락하여 차이가 컸어요. 플랫폼별 차이가 큰 이유로는, Android는 하단 내비게이션 버튼이 있기 때문에 버튼을 클릭하면서 자연스럽게 시선이 하단으로 이동할 수 있어요. 반면 iOS는 홈 인디케이터가 있지만 보통 아래를 바라보면서 제스처를 사용하진 않기 때문에 키워드 알림 버튼을 발견하기 상대적으로 어려운 것 같아요. 배경과 동일한 하얀색 플로팅 버튼이었기 때문에 눈에 잘 띄지 않는 점도 있었고요. 탐색에 방해되지 않도록 한 것이었는데, 발견이 어렵다는 문제가 더 컸던 거죠. 만들면서 계속 키워드 알림만 들여다봤으니까 아무래도 우리 눈에는 보였지만, 유저들에겐 보이지 않았던 것은 어찌 보면 당연해요.

자기 반성

결과에 대해 논의하면서 데이터 분석가인 Bailey에게 피드백을 받았어요. 실험하기 딱 좋은 케이스인데 급하게 의사결정한 것이 아쉽다고요. 저도 그 메시지를 받고 아차 싶었고 많이 후회했어요. 솔직하게 돌이켜보면 프로젝트가 크고, 뒤이어 해야 할 일이 많다 보니까 빨리 해치우고 싶었던 것 같아요. 그리고 우리가 많은 고민을 했으니까 최선이라고 생각해버렸던 것 같아요. 지금은 글로 써서 제 잘못을 공개하고 있지만, 그 당시에는 굉장히 절망적이었고 프로덕트 매니저로서 자질이 부족한 것 같아 많이 반성했어요.

베일리의 맞는 말 대잔치

전사에 Sunshining 하기

월요일에 출근해서 뭐라고 말해야 할지 주말 내내 고민했어요. 없던 일로 감추고 문제를 축소시키고 싶은 마음이 조금 솟아났지만 그건 안된다는 걸 잘 알았기에 꾹 눌러 담았어요. 넷플릭스 조직문화를 담은 책 ‘규칙 없음’에 실패를 선샤이닝 하는 문화가 소개되어 있어요. 실패를 숨기지 않고 공유하고 해결하는 모습을 보여주면서 신뢰를 다져나가는 문화에요. 그 이야기를 떠올리면서 나도 선샤이닝 해야겠다고 다짐했죠.

전체 회의에서의 선샤이닝 기록

당근마켓에서는 매주 모든 구성원이 참석하여 주요 사항을 공유하는 전체 회의를 해요. 회의록에 ‘실패 sunshing’이란 제목을 적고 문제 상황과 원인 그리고 대응 방법을 담은 공유를 준비했어요. 떨리는 마음으로 회의에서 선샤이닝 했을 때 좋은 경험이고 공유해 줘서 고맙다는 피드백을 받았어요. 감사한 일이었고, 내 일터에 대한 안정감을 느낄 수 있었어요.

실험과 결과

검색팀 모두 힘을 합쳐 빠르게 작업하여 기존과 현재 안을 포함한 4가지 안에 대해 실험을 하였어요. 하나의 팀 안에 프로덕트 매니저인 저를 비롯해 프로덕트 디자이너, 개발자, 분석가가 함께 있어서 빠르게 문제에 대처할 수 있었어요. 많이 떨어졌던 만큼 회복할 수 있는 결과가 나오길 함께 기도했어요.

키워드 알림 ABCD 실험 안
간절히 바라는 답이 있던 디자이너 제이미

대조군(A) 대비 실험군 C의 키워드 알림 등록 전환율이 무려 171.4% 높았어요. 최근에 배포되었던 B 안이 가장 낮은 전환율을 보였어요. 제일 좋지 않은 안을 배포했었던 거죠... 키워드 알림 삭제 수 등을 비롯한 보조 지표와 가드레일 지표 등을 고려하여 C 안이 최종안으로 선택되었어요!

C가 가장 높은 전환율을 보였어요. 통계적 유의성은 당연히 통과하였어요.

C 안으로 최종 배포 후 몇 개월이 지난 지금, 키워드 알림 등록수를 다시 트래킹 해보았어요. 새로운 기능에 대한 신기 효과로 배포 직후 초반에 등록 수가 튀었다가 현재는 지표가 수렴된 상태예요. 이전과 비교하면 확실히 키워드 알림 등록 수가 성장하였어요.

시간에 따른 키워드 알림 등록 수 변화

저는 이 경험을 통해 느낀 바가 많아요. 실패했을 때 빠르게 인정하고 적극적으로 공유하며 대응한 것은 좋은 선택이었어요. 그리고 그렇게 했을 때 신뢰하고 격려해 주는 좋은 동료들과 함께하고 있다는 것도 한번 더 느낄 수 있었어요. 반대로 키워드 알림 등록 기능은 유저 리텐션에 중요한 기능인데, 이 점을 알고도 속도에 집중하다 적절할 의사결정을 하지 못했어요.

프로덕트 매니저로서 일하다 보면 직관과 데이터 사이에서 고민을 하는 경우들이 생겨요. ‘당연히 그럴 것 같은데 굳이 데이터를 봐야 하나?’ ‘바쁜데 언제 실험을 해?’ ‘내 생각이 정말 유저를 대변하는 것이 맞을까?’ 등 데이터를 볼지 말지조차 결정을 내려야 하죠. 개인적으로는 제 직관을 그렇게 신뢰하진 않아요. 저는 그냥 한 명의 유저일 뿐이고, 너무 제품을 잘 아는 오염된 유저라고 생각하거든요. 하지만 당근마켓의 성장에는 좋은 직관이 정말 큰 역할을 해왔어요. 데이터는 현재를 잘 해석할 수 있는 도구고, 직관은 새로운 그림을 그릴 수 있는 용기 같아요. 그만큼 위험 부담도 있겠죠.

직관으로 밀어붙여야 할 때와 데이터 기반 의사결정을 해야 할 때를 잘 구별하는 역량이 중요하다고 느껴요. 이번 케이스는 데이터 기반 의사결정을 해야 했던 경우였어요. 개인적으로는 전체적인 큰 그림은 프로덕트 전략과 직관 쪽에 무게중심을 살짝 기울이고 그 큰 그림을 그려나가는 과정에서 데이터 기반 의사결정을 놓치지 않는 것이 좋은 균형이라고 생각해요.

누구나 알듯이 이글의 진짜 목적은 채용입니다!

당근마켓 검색실에서는 ‘유저들이 검색을 통해 쉽게 원하는 정보를 찾고, 이웃들 간의 따뜻한 연결을 만들도록 돕는다’라는 비전 아래 당근마켓의 검색 경험을 만들어 가고 있어요. 따뜻한 연결을 위한 경험을 함께 만들어나가실 분을 찾고 있어요. 다음 채용 공고에 많은 관심 가져주세요! 읽어주셔서 감사해요.

🔎 검색 프로덕트 매니저

🔎 검색 프로덕트 디자이너(서비스 부문)

--

--

당근마켓은 동네 이웃 간의 연결을 도와 따뜻하고 활발한 교류가 있는 지역 사회를 꿈꾸고 있어요.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store