Udemy에서 Input Metric을 Output Metric에 연결하는 방법

Amplify 2022 Udemy의 세션 요약과 생각들

Amplify는 Amplitude에서 매년 여는 Product & Growth 컨퍼런스다. 2020년부터 보기 시작했는데, 기술보다는 비즈니스의 핵심을 다루는 세션이 많다.

데이터를 활용하는 문화, 프로덕트를 더 잘 만들기 위한 방법 등을 다루는 세션에 눈길이 갔다. 그 중 필자가 가장 풀고 싶었던 문제를 다뤘던 세션을 요약하고자 한다.

바로 Seth Hodgson(VP of Engineering at Udemy)의 “Connecting Inputs to Outputs in Udemy”이다.

Amplify 2022

Working Backwards, Prerequisite Goal을 설정하기

발표자는 먼저 일상 예시를 들어 Input, Output Metric에 대해 이해할 수 있도록 안내한다.

👨 : “Half Marathon에 신청했다고 하자. 마라톤을 꼭 완주하고 싶은데, 이 Goal을 위해서 무얼 해야 할까?”

마라톤 완주를 위해 세운 Prerequisite Goal은 목표 몸무게를 달성하는 것이다.

• Measurable (측정 가능한가요)? 체중계로 가능하다.
• Directly Controllable (직접 조절 가능한가요)? 아니오.

목표 몸무게라는 지표는 측정 가능하지만 직접적으로 조절이 불가능하므로 Input이 아니라 Output이 된다. 실제로 Work on할 수 있는 것이어야 하며, 믿을 수 있는 향상을 Output에 가져다 줘야 Input이 될 수 있다는 것이다.

그럼 몸무게 조절이라는 Goal을 달성하기 위한 Input들은 무엇이 될까?

몸무게 조절이라는 Goal을 달성하기 위한 Input들

1. Goal : Diet

• Measurable? 칼로리를 통해서 측정 가능하다.
• Directly Controllable? 예.

2. Goal : Exercise

• Measurable? 운동 시간과 종류를 측정할 수 있다.
• Directly Controllable? 예.

3. Goal : Sleep

• Measurable? 수면 시간과 종류를 측정할 수 있다.
• Directly Controllable? 예.

Input Metric의 조건

결론적으로 Input의 조건은 아래 3가지를 만족해야 한다.

1. Measured
2. Tracked
3. Observable

이렇게 Input들을 연결하면서 직접적으로 조절할 수 없는 Output에 영향을 미칠 수 있을 것이다. 또한, 분석과 실험을 통해서 Input이 인과적으로 Output에 영향을 미치는지를 검증할 수 있다.

Input과 Output의 차이이자 주요 특성은 아래와 같다.

• Limited direct control over Outputs : Outputs에 대해서 직접적인 조절은 한정적으로 가능하다.
• Direct control over Inputs : Input은 직접적으로 조절이 가능하다.

Google SEO & SEM 효과의 Input은 무엇일까?

현실 예시를 들어서 살펴봤고, 시스템에서의 예시를 살펴보자.

💻 : 우리 사이트가 어떻게 퍼포먼스를 보여주고 있을까?

Goal : 목표하는 SEO Performance를 달성하는 것

• Measurable? 측정 가능하다.
• Directly Controllable? 아니오. 단순하게는 구글의 알고리즘 변경에도 영향을 받을 수 있다.

SEO Performance Metric은 Output에 해당이 되어, Goal을 재조정하는 것이 필요하다. 재조정된 Goal은 바로 직접적으로 조절 가능한 Input을 찾는 것이다.

Google SEO & SEM 효과의 Input을 찾는 것은 생각보다 쉬웠다.

Google이 찾은 Prerequiste Goal(Proxy)는 Lighthouse Performance Score였다. Lighthouse Performance Score는 곧 Output이 되는데, Core Web Vitals의 총 3가지 구성 요소가 직접적으로 영향을 주는 Input이 된다.

Core Web Vitals (Loading / Interactivity / Visual Stability)는 측정도 가능하고, 직접적으로 Output에 영향을 미침으로 Input의 조건을 모두 만족하기 때문이다.

즉, Google이 미리 찾아서 Validation 해둔 Input인 Core Web Vitals가 있기 때문에 더 발굴할 필요가 없었다. 아쉽게도 Validation 방식은 따로 나오지 않았다.

Google처럼 기업에서도 Input이 무엇이 될지에 대해서 고민하는 것이 중요하다.

특히, 집중할 Input을 고르는 것도 중요하다.

앞선 예시의 연장선으로 Google Search Result Rank (얼마나 상단에 오르는지)를 Output으로 두었을 때, Input은 하나뿐이 아닌 다수가 될 수 있다.

• Lighthouse Performance Score와 Core Web Vital이 Input이 되지만, 이는 그림의 일부이다.
• Google은 검색 결과에서 EAT을 페이지마다 측정하고 있다. 웹 페이지의 콘텐츠가 얼마나 좋은지를 측정하고 또 조절할 수 있는 “Expertise, Authority, Trust”가 다른 중요한 Input이 된다.

또한, 어떤 케이스든지 Input을 x% 올리는 것이 Desired Output을 y% 올리는 것을 단언할 수는 없다. 하지만 분석과 실험을 통해서 Input과 Desired Output 간의 인과적 관계를 증명할 수 있다. (강의에서 이 내용은 더이상 설명이 없어, 하단에 필자가 의견을 보태었다)

Udemy에서 Input과 Output을 연결하는 법

일상과 Google의 예시는 살펴봤고, Udemy Product & Platform은 어떠한가?

Step 1. 프로덕트 및 플랫폼을 4단계로 분리한다.

4 Levels of Detail Framework

1. Ecosystem

Stakeholder : Executive Staff 가 집중하는 영역
Definition : Company-wide Output and Goals
상위 레벨의 비즈니스 및 프로덕트 전략
생태계(Learner Side, Instructor Side, Business Side)와 주요한 사용자 터치포인트를 이야기함.

2. Customer Journeys

Stakeholder : 포트폴리오(어떤 사용자들을 타겟하는가?) 단위의 리더십
Definition : 생태계가 의미 있는 사용자 여정으로 쪼개지는 단계
비즈니스 및 프로덕트 전략의 다음 단계

3. Product Flows

Stakeholder : 실제 Pod 또는 팀 단위의 리더십이 관여하는 영역
Definition : 전술(Tactics) 과 Goals 을 정의하는 영역
프로덕트의 흐름 또는 플랫폼의 가능성을 아이디에이션 → 디자인 → 개발 → 분석하는 단계

4. Events

Stakeholder : 전체
Definition : 가장 직접적인 컨트롤을 가질 수 있는 Input Measurements
Product Flows는 이벤트를 통해서 이해될 수 있다. (이 때 Amplitude가 사용된다)

실제 KPI, Event 예시를 통해서 4단계를 살펴보자.

How Udemy Decompose Outputs into Inputs

각기 다른 Stakeholder가 알맞은 추상화 단계에서 작동해야 하며 Input 이 Output에 어떻게 들어맞는지를 이해하는 것이 중요하다

1. Ecosystem

Company-wide Output & KPI 로 구성된다.
예시 : Monthly Active Learning Day

2. Customer Journeys

사용자 여정은 Udemy에서 3단계로 구분된다.
“Learner” 입장에서 해석해보자.
1) Land in Udemy → 2) Discovery Phase → 3) Learning Phase
여전히 조절할 수 있는 단계가 아니다.

3. Product Flows

그 다음 단계로 내려오면, 실제로 사용자를 각 단계에서 그 다음 Goal을 달성하기 위해 어떤 것들을 개발해야 하는지를 알 수 있다.
A/B 테스트 및 개입을 통해서 어떻게 사용자를 다음 단계 Goal을 달성하게 할 수 있을까? 의 문제이다.

4. Events

이벤트를 Key Entity 또는 Action Verb 를 통해서 표현한다.
예시 : 커리어 가이드 페이지 조회수, 토픽 페이지 조회수, 랩이 실행됨, 랩이 완료됨

이런 4단계 구분은 Customer Journey Phase 사이의 점을 연결하게 해준다.

Customer Journey Phase of Udemy (4단계)

Amplitude를 통해서 각 Input이 어떻게 서로 연결되고 Output의 사다리로 어떻게 연결되는지 확인할 수 있다.

Step 2. 거꾸로 거슬러가며 KPI Trees(Driver Trees)를 완성한다.

앞선 Step1에서 Udemy 플랫폼을 4단계 디테일로 분리했다. 분리된 4가지 단계에 맞게 거꾸로 거슬러가며 KPI Trees(Driver Trees, Metric Hierarchy)를 구성한다.

최상단의 Output은 MRR(구독 상품의 Monthly Recurring Revenue)이 된다. 이는 Key Lagging Business Outcome 이며 다른 Input 들이 선행될 것이다.

중간 단계인 Customer Journey의 Output들은 Product Flow에서의 Input으로 조절 가능하게 된다.

하단 단계인 Product Flows & Events에서 Miro를 활용하여 Input을 정의했다고 한다. 방식은 이벤트 스토밍(Event Storming)이 핵심이며 Amplitude를 활용했다고 한다.

How to Define Inputs w/ Event Storming, Amplitude

3 Types of Sticky Notes

• 이벤트 스토밍을 통해 Cause-Effect Flow 모델을 세운다.
• 플랫폼(Android, iOS, Web)별로 구현된 디테일한 제품 차이는 최대한 배제하여 Cause-Effect Flow를 구성한다.
• 이벤트 스토밍 단계는 3단계로 구분하는 것이 중요하다. (User Commands / Product Reactions / Events).
• 이 중에서 Events(주황색 포스트잇) 가 곧 Input이 될 가능성이 높은 이벤트가 된다고 한다.
• 디테일한 제품 차이는 변화할 수 있지만 Events(주황색 포스트잇)는 변하지 않는다. (Stable Framing Cross-platform, Cross-system)
• 즉, Semantically, Abstractly 사용자가 어떻게 Engage하고 어떤 이벤트가 더 중요한지를 이야기하는 것이 중요하다.
• (아쉽게도) Amplitude를 어떻게 활용하는지는 세션에 소개되지 않는다.

이벤트 스토밍 (Event Storming)

Event와 BrainStorming의 합성어로 Domain Expert와 개발 전문가가 함께 모여 워크샵 형태로 진행되는 방법론이다. DDD(Domain Driven Design)방법론 중, 복잡한 UML다이어그램이나 도구 없이 수행할 수 있어 MSA를 구현하는데 가장 최적의 방법론이다. (참고)

이벤트 스토밍은 개발 분야에서 자주 이야기되는 방법론인데, 프로덕트 메트릭 정의에서 나와서 독특했다. 워크샵처럼 진행하면 좋을 듯 한데, 실 진행을 위해서는 방법론 안내를 참고하는 것이 좋겠다.

전반적으로 KPI Tree를 구성함을 통해서 Executive View ↔ Product Flow Leadership 사이의 괴리를 줄일 수 있게 된다.

Key Summary

Summary Slide of the Session

1. Udemy는 Metric을 4단계로 쪼개고 가장 하위 단계가 Input Metric이다.
2. Product Flows & Events 단계의 Input Metric 을 정의하는 것이 중요하다.
3. Udemy는 2를 Amplitude를 통해서 진행하여 발견하고 관리했다.
   📌 한 마디로 요약하면 DDD에서 이야기되는 Event Storming이 주된 방법론이었다.
   📌 Amplitude를 통해서 Product Flow를 그려내면서 Cause-Effect를 정의했다.
   📌 특히 UI 디테일의 변화에 좌우되지 않는 핵심 Event들을 곧 Input으로 정의했다.

필자의 생각들

아쉬운 점

• Input Metric의 중요성을 이야기 하는 데에 주 Focus가 있는 것 같고, 그 How에 대한 비중은 16분 ~ 19분의 총 3분 가량으로 내용이 충분치 않아 아쉬웠다.
• Amplitude가 좋은 툴이고 이것으로 Input — Output 연결했다고 하는데 어떻게 활용했는지 어떤 기능인지를 알려주면 더 좋았을 것 같다.
• 초반에 Input — Output Causal Relationship은 분석과 실험을 통해 증명할 수 있다고 했는데 그 내용은 이후에 언급이 없었다.

좋았던 점

• Udemy에서 중간에 소개한 KPI Trees가 콴다에서 함께 정의했던 프리미엄 멤버십 Metric Hierarchy와 거의 동일해서 뿌듯했다.
• Udemy의 KPI Trees 하단의 Input들이 슬라이드 자료가 제공이 안되어서 흐리게 보이지만 참고할 수 있을 것 같다.
• 여태껏 Udemy에서 이야기하는 ‘Customer Journey 단계 Output’ 을 Input Metric 이지만 Uncontrollable한 종류라고 여겨 왔었고, 그렇게 사내에서 세션 진행했었는데 자신을 돌아보게 되었다.

그래서 Input — Output Causal Relationship은?

Input — Output 의 중요성은 데이터야놀자 세션때에도 이야기했었고 팀에서도 오래전부터 강조하고 있다.

하지만 ‘상식적으로 연상되지 않는' Input — Output의 상관관계를 발굴하는 것, 그리고 Metric 간의 인과관계를 추정하는 것이 풀리지 않는 문제였다. 이 부분에 대해서는 세션에서 다뤄지지 않아 추가적으로 생각을 담아본다.

예시 : Metric이 예를 들어서 ‘홈화면 - 검색 전환율' 이라고 해보자. 이는 자명하게 Product Flow에 속한다. 
실험 A가 ‘홈화면 - 검색 전환율' 지표를 Success Metric으로 삼았다고 하자. 그리고 Control 대비하여 유의미한 향상이 있었다고 하자.
Q : ‘홈화면 - 검색 전환율' 가 2주차 재방문율 의 Input Metric이 될 수 있을까? 
A : Treatment에서 2주차 재방문율 이 상승하면 Yes.
Q : ‘홈화면 - 검색 전환율' 가 프리미엄 결제 전환율의 Input Metric이 될 수 있을까?
A : Treatment에서 프리미엄 결제 전환율 이 상승하면 Yes

Input Metric 역발굴하는 방법

• 실험에서 Output Metric을 Success Metric으로 잡았고 실험이 성공적이었다면 → 실험군에서 유의미하게 상승한 Product Flow 단위의 Input Metric을 찾는다.

Input Metric — Output Metric 관계 증명하는 방법

• 실험에서 Input Metric을 Success Metric으로 잡았고 실험이 성공적이었다면 → 연결고리가 있다고 예상되는 Output Metric이 유의미하게 상승했는지 확인한다.

Systemic한 방법

• Metric들이 Metric Store에 담겨있고 특별히 연관 Metric을 모두 선언하지 않더라도, Treatment에서 유의미한 변화가 있는 Metric들에 대해 모두 알려준다.
• Metric Store가 만들어지기 전에는 지난 실험들에 대한 메타 분석을 진행한다.

결함이 많은 방식일 수 있으나 Udemy에서 Practice를 소개해주어서 추가적으로 생각을 이어볼 수 있었다. Udemy와 Amplify에게 감사하고, 앞으로도 더 많은 정보 공유가 이루어지길 바라본다.

출처 : Seth Hodgson(VP of Engineering at Udemy) - “Connecting Inputs to Outputs in Udemy”