목적조직에서 Data Analyst로 일하기🧑🏻‍💻(2) : KPI와 목표 설정

Contents

1. 조직의 KPI와 목표설정하기
2. 스푼의 Vision에서 뻗어나온 타겟 지표
3. 세부 KPI 설정하기 🧐
4. KPI 목표치 세우기 🎯
5. 글을 마치며 📝

조직의 KPI와 목표설정하기

2021년 3Q 목적조직 팀인 Retention TF팀은 어느정도 성과를 인정받고 4Q도 역시 신규유저의 Retention 상승을 목적으로 계속해서 업무를 진행할 수 있었다.

Data Analyst인 나는 PM 분들을 도와 함께 조직의 KPI와 목표 수치를 제안하는 역할을 맡게됐다.

3Q가 끝나고 팀에선 회고시간을 가졌는데, 그때 팀 멤버들은 “목표가 좀 더 뾰족했으면 좋겠다”, “Retention을 올리기 위한 Key Metric이 분명했으면 좋겠다”는 의견을 주었다. 또한 3Q때 특정 국가의 Retention이 타 국가보다 높게 올랐었는데, 이를 개선하고자 글로벌 서비스에 부합하게 모든 국가의 지표 상승이 있도록 국가별로 세부전략이 나와야했다.

이러한 많은 조건들 속에서 재밌고, 부담스러운 업무를 시작하게 됐다. 🙂

스푼의 Vision에서 뻗어나온 타겟 지표

“To be a community of meaningful connections and amplified voices”

위의 문장은 스푼의 Vision이다. 스푼은 의미있는 연결과 목소리로 여러 사람들이 자유롭고 다양한 이야기를 나눌 수 있는 커뮤니티를 꿈꾼다.

여기서 우리의 Vision은 정량적으로 측정할 수 있는 지표로 번역이 가능해진다.

• community = Retention
• meaningful connections = Follow
• amplified voices = Upload

타겟 해야할 지표는 위와 같이 회사의 Vision와 연관지어서 나오게됐다. CPO인 SY께서는 우리가 목표해야할 지표는 궁극적으로 Mission과 Vision에 부합해야한다는 의견을 주셨고, 위와 같이 Vision을 정량화 할 수 있도록 가이드 주셨다. 뿐만 아니라 우리가 업무 중에 하는 모든 Thought Process가 Mission과 Vision에서 뻗어나올 수 있도록 방법론을 가이드 해주셨다. (그동안 회사의 Mission과 Vision을 많이 고민하지 않고 업무를 했던 것 같은데 큰 배움이 됐었다.😁 )

위의 지표를 팀의 목표와 연결시켜보자면 Follow와 Upload 지표를 상승시켜 결국 Retention이 상승되는 것이 목표이다. 이를 위해 PM분들과 나는 Follow와 Upload의 세부 KPI를 설정하게 되었다.

세부 KPI 설정하기 🧐

신규유저 Retention 상승을 위해 Upload, Follow의 어떤 부분을 향상시켜야할까? 🤔 세부 지표에는 Conversion Rate, Average Count, Duration 등 수 많은 지표가 있을 것이다.

여기서 나는 Conversion Rate(e.g 업로드 전환율)와 Second Activation(e.g 재업로드율)을 KPI로 설정하였다. 두개 지표를 KPI로 설정한 이유는 아래와 같다.

1. 팀의 North Star는 “신규유저 Day7 Retention”이다. “신규유저”가 타겟 세그먼트이었기 때문에 Retention의 큰 폭 상승을 위해선 Funnel 가장 앞단의 문제를 건드려야했다. Funnel 뒷단의 문제는 세그먼트 사이즈가 작기 때문에 Retention 상승의 Impact가 낮다. Conversion Rate는 우리가 목표하는 Follow, Upload라는 Key action의 가장 앞단의 지표였다. 쉽게 말해 신규유저가 일단 Follow와 Upload를 할 수 있도록 만들어야 했다. Follow, Upload 경험을 개선할지라도 Conversion Rate이 변함이 없다면 유의미한 Retention 상승을 기대하기 어려웠다.
2. Conversion Rate만을 지표로 삼게되면 유저에게 좋지 않은 경험을 줄 수 있다. Follow와 Upload는 했지만 그 경험이 좋지 않다면 장기 Retention으로 이어지기 쉽지 않을 것이다.
   단지 Conversion Rate를 올리는게 목적이라면 극단적으로 유저간에 자동적으로 Follow를 하도록 만들거나 Upload를 하면 리워드를 크게 주는 Action이 나올 수 있다. 그래서 신규유저가 Follow, Upload를 하도록 Conversion을 만들고 그리고 그 Conversion 경험에서 좋은 경험을 하도록 하여 다시 Follow, Upload Action을 할 수 있도록 Re-Follow Rate와 Re-Upload Rate를 타겟 지표로 삼았다.
   Second Activation이 아니라 Converion과 Second Activation을 아우를 수 있는 각 지표의 “평균 횟수(e.g 평균 Upload 횟수)”도 고려를 했었는데, 좋지 않은 지표라고 판단했다. 이유는 평균은 이상치의 늪에서 완벽한 기준을 마련하기 어려웠고, 어떤 수치가 높고 낮은지 명확한 판단이 안서는 지표였기 때문이다. 여러 이상치 방법론을 통해 이상치를 제거해도 신규유저의 Upload와 Follow 평균값은 체감상 높은 수치였다. 결국 커뮤니케이션 비용이 높아지는 단점이 있었기에 제외하였다.
3. 마지막으로 조직적인 측면에서 팀원 모두가 목표 지표를 보고 공감대를 형성해야 한다는 생각이 있었다. 3Q에 팀의 조직력이 좋았었는데, 그 이유 중 하나는 모두가 쉽게 지표를 조회하고 관찰 할 수 있었고 누구나 자유롭게 지표를 해석하고 Discussion 했었다. 스푼은 Event Data를 다루는 툴에 대한 이해도가 높은 편이다. PM, 마케터는 물론 개발자, 디자이너까지 어느정도 툴에 대한 기초 이해가 있고 업무에 활용하기도 한다. 나는 팀의 KPI가 누구나 쉽게 관찰할 수 있으면 했고, 해당 툴로 세팅이 가능한 지표여야 한다고 생각했다.

위의 3가지 이유로 아래 KPI를 뽑아냈다.

• Follow Conversion: 신규유저가 n일 이내 Follow 하는 비율
• Re-Follow Rate: 최초 Follow 한 유저 중 p일 이내 다시 Follow하는 비율
• Upload Conversion: 신규유저가 n일 이내 Upload 하는 비율
• Re-Upload Rate: 최초 Upload 한 유저 중 p일 이내 다시 Upload하는 비율

여기서 Conversion 지표의 “n일”은 팀의 North Star가 “신규유저 Day7 Retention”이었기 때문에 업무적인 측면에서 Conversion 지표의 n일을 더 짧게 잡아 Action Item이 제약을 받지 않도록 하였다. 물론 1–2일이나 n일로 잡았을 때 수치에 큰 차이는 없었고, 3Q 때 관련한 데이터가 많이 분석되어 있어서 팀원 모두가 초반 1–2일차의 중요성을 인지하고 있었다.

Second Activation 지표의 “p일”에 대해선 Upload와 Follow 지표의 Usage Interval이 median 값으로 “p일”이었기 때문에 적정 구간이라 판단하여 설정하였다.

이 KPI가 정말 좋은 KPI 였는지는 팀이 마무리되고 회고시간을 가지면 그때 알 수 있을 것 같다.

다만 처음 KPI를 설정할시 칭찬인지는 모르겠으나 SY(CPO)께서 긍정적인 답변을 주셨고, 당연히 칭찬이라고 생각한 나는 수요일 부터 주말까지 기분이 좋았던 것 같다 🤣 박제 해놨었다.

KPI 목표치 세우기 🎯

마지막으로 남은 작업은 각 KPI를 얼만큼 올려야 하는 것인가? 이다.

North Star이며 목표하는 D7 Retention의 수치는 Top-down 방식으로 어느정도 정해져있었다. 나는 그 목표 Day7 Retention 수치를 만들기 위해 KPI로 삼은 4개 지표(Follow Conversion, Re-Follow Rate, Upload Conversion, Re-Upload Rate)를 각각 얼마나 올려야 하는지를 구해야했다. 정말 까다로웠던 점은 이를 플랫폼(iOS, Android), 국가별로 구해야했다. 🤯

하지만 방법은 어떻게든 찾는 법. 지난 3개월간의 Retention을 확률로 가정하고 전체 세그먼트의 확률을 각 {세부 세그먼트 사이즈*확률}의 총합으로 치환하여 계산하였다. 평균을 빈도의 개념이 아닌 확률의 개념으로 계산하는 방식과 똑같은 로직이다.

예를 들어 Upload로 Conversion이 된 유저(A)를 최초 Upload에서 2일 안에 Re-Upload한 유저(A-1)과 그렇지 않은 유저(A-2)로 세그먼트를 나누고 A-1, A-2 각 세그먼트의 Retention을 계산하였다.

그리고 각 A-1의 비율이 1%씩 오를 때 (A-1, A-2의 각 세그먼트 사이즈가 49%, 51%일 때, 50%, 50%로 변함) A의 리텐션이 어떻게 변하는지 {A-1의 세그먼트 %*A-1의 리텐션(확률)} + {A-2의 세그먼트 %*A-2의 리텐션(확률)}의 계산과정을 통해 시뮬레이션을 하였고, 적정 구간을 찾았다.

비슷한 방식으로 Conversion 된 사람과 되지 않는 사람의 비율이 변할 때 전체 세그먼트의 Retention이 어떻게 변하는지 시뮬레이션하였고, 이러한 과정을 국가, 플랫폼 별로도 똑같이 적용하여 목표 KPI 수치를 구하였다.

쉽게 설명한 건 아닌 것 같다. 하지만 자세한 계산 과정은 영업 비밀일 뿐더러 이 글의 목적과 거리가 멀기 때문에 이번 글에서는 생략하기로 한다. 😛

글을 마치며 📝

이번 글에선 목적조직에서 데이터 분석가가 팀의 KPI와 목표 설정을 한 경험을 공유하였다.

개인적으로 많이 성장했던 과제였던 것 같다.

이 과제를 수행하며 부족했던 점은 타겟하는 KPI 및 수치가 팀원들에게 얼마나 크게 공감대를 형성했는지의 여부였다. 다음 번 비슷한 종류의 과정에선 좀 더 긴밀하게 소통해야 함을 느꼈다. 그리고 KPI가 비율지표로 나오게 됐는데, 그 과정에서 총량지표를 고려하지 않은 점이 아쉬움으로 남는다. 비율지표는 개선하지 않더라도 모수의 변화에 의해 오를 수 있는 성격을 가지기 때문에 성과를 측정하기 다소 어렵기 때문이다.

또 한 번 이런 기회가 주어지면 더 잘해보고 싶다 ! 💪

지난 글인 실험 설계 및 분석에 이어서 KPI와 목표 설정까지 목적조직에 데이터 분석가가 있으면 할일이 끊이지 않는 것을 체감한다.

누군가 목적조직에서 데이터 분석가의 역할을 고민한다면 부족하지만 저의 글을 읽고 성장할 수 있는 기회가 넘친다는 것을 알려주고 싶다.

목적조직에서 Data Analyst로 일하기 시리즈. 이름은 거창하지만 스타트업 미생의 그냥 열심히 일한 스토리를 읽어주어서 감사 말씀 드린다. 🙇‍♂️