지표선정 자리에서 해야하는 5가지 질문들 — Data Analyst 의 컨설팅
제품개발을 들어가기에 앞서 PM (Product Manager) 은 PRD (Product Requirement Document) 를 작성하게 됩니다.
*PRD 는 제품의 목적, 기능, 특징 등을 정의하고 나열한 문서입니다.
제품개발에 참여하는 엔지니어링 그리고 제품을 이해하고자 하는 마케팅,비즈니스 인원들이 참고하게 되는 가이드 역할도 합니다.
LINER 에서 PM 은 PRD 를 작성하면서 제품의 목적과 가치를 어떻게 정량적으로 측정할 것인지를 DA (Data Analyst) 와 함께 논의합니다.
다시말해 KPI 선정, 즉 핵심지표 선정을 PM 과 DA 가 함께 하게 됩니다.
핵심지표는 정량적으로 제품의 성과와 가치에 대해서 전사적으로 동의할 수 있게 해주는 정량적 장치입니다.
지표선정 미팅의 결과물인 KPI 는 제품의 생존여부에 직접적인 영향을 줄 정도로 중요합니다.
잘못된 KPI 선정은 좋은 제품을 롤백 대상으로 분류시킬 수도 있고
반대로 나쁜 제품을 롤모델 대상으로 분류시킬 수도 있습니다.
아무리 빠른 제품출시 주기를 보유하고 있다 하더라도,
KPI 선별과정의 퀄리티는 조직 내부에 축적되는 배움에도 직접적인 연결고리가 생기게 됩니다.
이렇게 중요한 자리를 DA 는 어떻게 접근하고 어떤 논의를 해야할까요?
저는 개인적으로 지표선정 미팅에서 일종의 롤플레잉을 하는 것을 좋아합니다.
지표선정 미팅에서, DA 는 잠시 컨설턴트 의 가면을 씁니다.
PM 은 다음 한시간동안 DA 의 컨설팅 고객입니다.
이런 롤플레잉이 재밌기도 하지만, 지표선정 미팅의 톤과 참석자들의 역할을 명확히 하면서 논의를 밀도있게 진행하는데에 도움이 됩니다.
지표선정 미팅 결과물에 대한 기대치는 아래와 같습니다.
- 대화의 결과물로 PM 은제품 성과와 가치에 대한 전사적인 싱크를 맞추게 된다.
- 대화의 결과물로 DA 는 PM 과의 싱크를 맞추고 (대시보드를 만드는 것과 같은) 제품개발의 후속액션을 준비하게 된다
- 대화의 결과물에 대해서 PM 그리고 DA, 양측 다 동의해야한다.
이번 글에서는 제 경험에 기반해 지표선정 미팅에서 DA 가 어떤 질문들을 토대로 이끌고 가면 좋은지 제시해봅니다.
아래의 분들에게 도움이 될 것 같습니다.
- 목적조직에서 PM 과 함께 일하는 것이 익숙치 않은 DA
- 지표선정 자리의 필요성이 궁금한 PM
- 지표선정 퀄리티를 높이고 싶은 분들
DA 가 PM 에게 해야하는 질문 리스트
1. “What do you want to see happen?”
프로젝트로 발생/변화해야하는 가장 중요한 유저액션은 무엇인가요?
(product purpose)
PM 이 프로젝트에 대해서 갖고있는 전반적인 느낌을 이해하는 것이 중요합니다.
프로젝트가 진행되기 전후 유저들의 시점에서 제품이 어떻게 달라질 것이라 기대하는지 파고드세요.
해결하고자 하는 문제를 PM 으로부터 공유받고, PM 이 프로젝트를 인프라 구축형태로 보고 있는지 아니면 실험적인 가설검증 형태로 생각하고 있는지 DA 가 파악해야합니다.
2. “Why now?”
왜 지금 해야해요?
(priority check)
해볼 수 있는 것은 항상 많지만, 지금 해야하는 것을 정하는 것은 프로젝트의 우선순위입니다. 저는 일반적으로 비즈니스와 해당 프로젝트가 풀고자 하는 문제가 어떻게 연결되어있는지 알고자 합니다.
대화를 통해 PM 분이 지금 왜 해당 프로젝트를 중요하게 생각하는지 감정선을 공유받고 제 3자의 시선에서 논리적인지 피드백을 제공하기도 합니다.
PM 은 프로젝트가 잘 되면 어떤 가치가 있는지 그리고 그 가치가 현재 조직에 왜 중요한지 전사를 설득을 해야합니다. 논리과정이 make-sense 한지 봐야합니다. 결과적으로 우리는 논리를 올바르게 평가하는 KPI 를 선정하는 것이 목표입니다.
“Why now?” 를 제대로 답변하지 못하거나 잘못된 프로젝트의 우선순위를 높였다는 깨달음이 PM 에게 도달한다면 어젠다를 수정하기에 너무 늦지 않았음을 DA 가 알려주는 것도 서포터로 중요한 역할입니다.
3. “What do you think?”
PM 분은 어떤 지표 보면 좋을 것 같으세요? 왜요?
프로젝트에 대해서 가장 오래 깊이 고민한 사람은 앞에 앉아있는 PM 입니다.
미팅을 이끌고 가고 있는 DA 가 PM 보다는 프로젝트에 대한 더 객관적인 시야를 제공해줄 수는 있겠지만, PM 이 절대적으로 프로젝트에 대해 고민한 시간이 DA 보다 압도적으로 많을 것입니다.
지표선정 미팅이 PM 이 제품에 대해 갖고있는 생각을 갈아엎는 자리가 아닌
디벨롭 시키는 자리가 될 수 있도록 만드는 것도 DA 의 역할에 속합니다.
4. “Will it even budge?” :
우리 액션이 기대효과를 냈을 때, 선정된 KPI 가 움직일까요?
좋은 KPI 는 액션으로 인한 효과가 포착되는 지표입니다.
우리가 취한 액션이 정량적으로 드러날 수 있어야 배움축적까지 이어집니다.
하지만 액션이 효과가 있다하더라도 잘못된 KPI 가 선정되었을 시 효과가 없는 것처럼 보일 수도 있습니다.
KPI 의 위계가 높을 수록 지표가 후행적일 가능성이 높습니다.
KPI 의 위계가 높을 수록 우리 액션이 건드리는 유저군에 비해 KPI 가 훨씬 더 다양한 세그먼트를 포함할 가능성 또한 높아집니다.
따라서 선정된 KPI 의 구성요소는 무엇이고 영향을 주고있는 기능들은 어떤 것이 있는지 파악하고 있어야합니다. 지표구성이 복잡할 수록 지표가 올라갔을 때, 따라오는 비즈니스 임팩트도 더 크겠지만 그만큼 효과를 구분하기 어렵습니다.
지표구성에 대한 이해가 부족한 상태에서 흔히 발생하는 착각에 대한 예시입니다.
- VoC 에서 제기되는 불편함이 해소되면 제품 리텐션이 올라갈 것이다.
한가지의 불편함을 해소하더라도 겪고 있는 유저들이 너무 적을 경우 혹은
제품의 핵심가치를 경험하게 하는데에 영향을 주지 않는 요소라면 리텐션 상승을 보기는 어려울 것입니다.
높은 리텐션은 중요한 문제를 좋은 경험으로 해결하는 제품에 주어지는 훈장입니다.
하지만 리텐션을 높이는 방법은 굉장히 많습니다.
제품의 핵심가치를 더 많은 유저들이 경험하게 하는 것, 자주 경험하게 하는 것, 그리고 더 오랫동안 경험하게 하는 것 등이 있습니다. 한가지 불편요소를 제거하는 것도 중요하지만, 리텐션보다는 선행하는 KPI 를 선정하는 것이 더 정확한 효과측정을 위해 좋을 것입니다.
큼지막한 지표를 프로젝트의 KPI 로 선언하기 전에, 지표의 구성요소들을 꼭 다시 생각해보세요. 내가 취한 액션이 지표의 각 구성요소들에 얼마만큼 영향을 주는 상황인지 생각해봐야합니다.
5. “What about this?”
방금 대화를 토대로 저는 이 지표가 KPI로 적절할 것 같아요. Yes/No?
지표선정 미팅은 DA 가 일방적으로 결과물을 정해주는 자리가 아닙니다.
KPI 선정을 돕고 데이터로 후속액션을 서포트하는 역할은 DA 가 하겠지만,
실제로 제품의 성과와 가치에 대해서 조직과 소통하고 설득할 사람은 PM 입니다.
지표선정 미팅룸 밖으로 갖고 나갈 결과물, KPI 에 대해서는 PM 과 DA 양측의 합의가 있어야합니다.
PM 의 제품고민과 DA 의 데이터 활용능력을 기반으로 한 티키타카식 대화를 거쳐
미팅룸 밖에서 활용할 수 있는 KPI 를 함께 도출하도록 노력해야합니다.
Outro
PM 혼자서 혹은 DA 혼자서 가장 적절한 지표를 선정한다는 것은 어려운 일입니다.
지표선정에는 통계지식이 필요하기도 하지만, 현재 제품에 대한 높은 이해도도 요구하기 때문입니다.
위의 5가지 질문들 외에도 추가될 수 있는 질문들은 더 있을 수 있습니다.
하지만 전달드리고 싶은 지표선정 미팅의 핵심은 PM 과 DA 둘 모두의 전문성을 극대화해서 대화로 합의점에 도달해야한다는 것입니다.
서로의 의견과 생각에 반론을 제기하는 것은 오히려 좋습니다.
PM 한테서는 데이터 활용 차원의 성장을, DA 한테서는 제품 UX 차원의 성장을 볼 수 있게 될테니깐요.
효과적인 로그설계 그리고 계속 활용가능한 대시보드의 필수요소는 DA의 PM 과의 싱크레벨입니다. 더 높은 기준에 부합하는 심도있는 지표선정 미팅에서의 산출물이 DA 와 PM 간의 높은 싱크레벨이라고 생각합니다.
글을 보시는 분들께 도움이 되기를 바랍니다.
감사합니다!
