안녕하세요, 검색실 PM Demi예요.
당근은 실험에 참 진심인 조직입니다. 모든 구성원이 실험을 잘 하기 위한 환경과 문화를 꾸준히 만들어가고 있는데요. 저는 그중에서도 데이터 분석가 출신의 PM이라, 당근의 실험 문화에 더 적극적으로 말을 얹는 사람이었어요. 그런데 부끄럽게도 정작 제가 서비스에 관한 의사결정을 내릴 때는 실험을 간과했다 큰코다친 적이 있답니다. 실험 없이 배포했다가 힘들었던 제 이야기를 들려드릴게요.
사건의 시작 : 중고거래 키워드 알림 등록 UI
지난봄, 검색실은 중고거래 검색 결과의 ‘검색필터’ 속 숨어있던 세부 항목을 꺼내 검색 결과 화면에서 바로 보여주기 위한 프로젝트를 진행했어요. 하지만 검색 결과 상단에는 ‘키워드 알림 등록하기’나 ‘거래가능만 보기’ 등 이미 많은 기능이 있었어요. 검색 필터 세부 항목까지 펼쳤치면 화면 상단이 너무 복잡해지는 게 문제였죠.
그래서 검색 결과 바로 아래 있던 ‘키워드 알림 등록하기’ 버튼의 위치를 변경하기로 했어요. 키워드 알림은 사용자가 중고거래를 희망하는 물품을 키워드로 등록해 두면 관련 글이 올라올 때마다 알림을 받는 기능인데요. 사용자 재방문에 큰 역할을 하는 만큼 위치 선정이 매우 중요했죠. 저희는 버튼의 위치를 변경하기 위해서 3가지를 고려했는데요. 1) 어떤 기능인지 직관적으로 알 수 있고 2) 눈에 잘 띄면서도 3) 탐색에 방해되지 않는 대안을 찾기 위해 논의했어요.
제가 그 버튼을 아래로 숨겨버렸습니다.
긴 논의 끝에 키워드 알림 등록 버튼의 위치를 상단 바에서 하단 플로팅 버튼으로 변경했습니다. 플로팅 버튼은 스크롤을 내려도 쭉 볼 수 있으니, 경험이 더 좋아지리라 생각한 거죠. 이게 버튼을 숨겨버리는 결정인 줄은 꿈에도 모르고요.
배포 후, 지표를 확인하고 심장이 굳는 느낌이었어요. 처음엔 데이터 로깅에 버그가 있나 싶었어요. 하지만 아니었죠. 검색 결과 화면에서 키워드 알림 등록 수가 일평균 21.3% 떨어졌고, 키워드 알림을 통한 중고거래 매물의 관심과 채팅 수 또한 내려갔어요. 감수하기 어려운, 너무 큰 하락이었어요.
특히 키워드 알림 등록 수를 모바일 플랫폼별로 나눠서 봤을 때 감소 원인이 명확하게 보였어요. iOS가 Android에 비해 6배가량 더 하락했는데요. 그 이유는 각 모바일 기기 하단의 버튼 차이에 있었어요. Android는 이용자가 하단의 내비게이션 버튼을 클릭하면서 자연스럽게 시선이 화면 아래쪽으로 이동할 수 있어요. 반면 iOS는 내비게이션 버튼 대신 홈 인디케이터가 있고 보통 화면 하단을 보며 제스처를 사용하진 않기 때문에 키워드 알림 버튼을 발견하기가 상대적으로 어려웠던 거죠. 버튼이 배경과 동일한 하얀색이어서 눈에 잘 띄지 않는 점도 있었고요.
탐색에 방해되지 않도록 하려다 발견이 어려워진 문제가 생긴 거예요. 모바일 플랫폼별 차이점은 물론 사용자 시선의 흐름도 고려하지 못한 결정이었죠. 함께 논의했던 팀원들은 제품을 만들면서 키워드 알림을 계속 봐왔으니 쉽게 발견할 수 있었지만, 익숙하지 않은 사용자들에게 잘 보이지 않았던 것은 어찌 보면 당연해요.
마주해야 하는 자기반성의 시간
결과에 대해 검색실의 데이터 분석가 Bailey에게 피드백을 받았어요. 실험하기 딱 좋은 케이스인데 급하게 의사결정한 것이 아쉽다고요. 저도 그 메시지를 받고 아차 싶었고 많이 후회했어요. 돌아보면 같은 프로젝트 안에서도 더 높은 우선순위의 일이 많다 보니, 사용자 지표에 큰 영향을 줄 수 있는 중요한 결정마저 실험하고 검증하는 절차를 따로 갖지 않았던 것이 문제였어요. 당근의 실험 문화가 지금처럼 활발하게 확산되지 않았던 시기라, 해당 결정이 PM으로서 실험을 통해 결정하기 좋은 기능 변화라는 판단을 놓치고 성급하게 의사결정했죠. 지금은 담담하게 제 잘못을 공개하고 있지만, 당시에는 굉장히 절망적이었어요. ‘PM으로서 아직 더 배워야 할 게 많구나’하며 반성하기도 했고요.
전사에 Sunshining하기 🌞
주말 내내 월요일에 출근해서 팀원들에게 뭐라고 말해야 할지 고민했어요. 없던 일로 감추고 문제를 축소하고 싶은 마음도 살짝 솟아났지만, 다시 꾹 눌러 담았어요. 대신 선샤이닝* 해야겠다고 다짐했죠.
* 선샤이닝 Sunshinig : 실패를 숨김없이 공유하고 해결하는 모습을 보여주면서 신뢰를 다져나가는 문화로, 넷플릭스의 조직문화를 담은 책 『규칙 없음』에서 소개됐어요.
당근에서는 매주 모든 구성원이 참석하여 각 팀의 주요 사항을 공유하는 전사 회의를 하는데요. 저는 ‘실패 sunshing’이라는 제목으로 검색 키워드 알림 등록 UI 변경과 그 결과를 공유하는 발표를 준비했어요.
회의 당일, 떨리는 마음으로 문제 상황과 원인 그리고 대응 방법을 공유했어요. 날카로운 피드백을 받을 마음의 준비도 다 해왔죠. 전사 구성원 앞에서 저의 실수를 공유하는 게 무척 떨렸어요. 그런데 막상 구성원들은 ‘좋은 경험이고 공유해줘서 고맙다’는 이야기를 먼저 건네주더라고요. 그 후에 제안과 피드백을 덧붙였고요. 실패 자체보다 이를 통해 얻은 레슨런, 그리고 그다음 스텝을 더 중요하게 생각하는 조직이라는 걸 느낄 수 있었어요. 정말 감사했고, 일터에 대한 안정감이 들었어요. 실수나 실패를 했다고 숨길 게 아니라 이를 토대로 개인과 팀이 더 성장하는 계기가 될 수 있겠다는 믿음이 생겼죠.
반성 다 했다면, 문제를 해결하자
실패를 인정하고 공유했다면, 이제 빠른 실험을 통해 문제를 해결할 차례였어요. 검색실 구성원 모두 힘을 합쳐 이전 안과 현재 안을 포함한 총 4가지 안에 대해 실험을 진행했어요.
검색실은 PM, 프로덕트 디자이너, 엔지니어, 데이터 분석가가 함께, 검색이라는 하나의 목표를 향해 일하는 목적조직이라 배포 이후에도 빠르게 문제에 대처할 수 있었어요. 실험을 하며 많이 떨어졌던 지표를 회복하고자 빠르게 힘을 모았습니다.
실험 결과, 대조군 A 안 대비 실험군 C 안의 키워드 알림 등록 전환율이 무려 171.4%나 높았어요. 반면 실험 없이 결정했던 현재 모습인 B 안은 가장 낮은 전환율을 보였죠. 결국 키워드 알림 삭제 수를 비롯한 보조 지표와 가드레일 지표 등을 모두 고려하여 C 안이 최종안으로 선택됐어요.
C 안으로 최종 배포 후 몇 개월이 지난 지금, 키워드 알림 등록 수를 다시 트래킹해봤어요. 새로운 기능에 대한 신기 효과*때문에 배포 직후 등록 수가 높이 튀었다가, 현재는 지표가 수렴된 상태인데요. 이전과 비교했을 때 확실히 키워드 알림 등록 수가 성장했음을 알 수 있어요.
*신기 효과: 낯선 대상을 인식할 때 인간의 주의집중이 더 강해짐을 설명하는 효과예요. 새롭고 낯선 대상이 있으면 일시적으로 전환이 높을 수 있지만 어느 정도 적응이 되면 유효하지 않게 되죠.
속도와 결정, 실험과 직관, 그 사이에서 균형 잡기
이번 케이스는 직관보다는 데이터 기반 의사결정을 해야 했던 경우였는데요. 속도에 집중하다 적절한 의사결정을 하지 못했어요. 뼈아픈 실패였죠. 하지만 실패했을 때 빠르게 인정하고 적극적으로 공유한 것은 좋은 선택이었어요. 그리고 그렇게 했을 때 신뢰를 바탕으로 격려해 주는 좋은 동료들과 함께하고 있다는 것도 한번 더 느낄 수 있었죠.
PM으로서 일하다 보면 직관과 실험 사이에서 고민해야 하는 경우가 생겨요. ‘당연히 그럴 것 같은데 굳이 데이터를 봐야 하나?’, ‘바쁜데 언제 실험을 해?’, ‘내 생각이 정말 사용자를 대변하는 게 맞을까?’ 등 데이터를 볼지 말지 정하는 과정부터 참 많은 생각이 들죠. 개인적으로 저는 직관을 많이 믿는 편은 아니에요. 제품을 지나치게 잘 아는 편향적인 사용자라고 생각하거든요. 하지만 좋은 직관이 좋은 제품을 만든다는 것 역시 잘 알고 있죠.
결국 제품을 만들 땐 전체적인 그림은 직관을 기반으로 용기를 가지고 새롭게 그려나가되, 실험과 데이터를 통해 현재를 잘 해석하며 한 걸음씩 나아가야 한다고 생각해요. 전략과 비전은 직관에 무게중심을 두면서도, 데이터 기반 의사결정을 놓치지 않는 거죠. 따라서 직관으로 밀어붙여야 할 때와 실험을 통한 데이터 기반 의사결정을 해야 할 때를 잘 구별하는 역량이 무척 중요해요. 저는 그 사이에서 실패와 성공을 빠르게 넘나들며 균형을 잡고 성장하는 중이라고 생각해요.
당근 검색실은 이처럼 실험 지향적인 태도, 공유와 신뢰 문화를 기반으로 빠르게 성장하고 있어요. 저희와 함께 ‘사용자가 검색을 통해 쉽게 원하는 정보를 찾고, 이웃 간의 따뜻한 연결을 경험할 수 있도록 돕는다’는 비전을 이루고 싶다면, 아래 채용 공고에 많은 관심 부탁드려요!
후속편 읽으러 가기 “당근의 실험 문화는 어떻게 자리 잡았을까”
