잡음(Noise) vs 편향(Bias)
잘못된 의사결정은 편향으로부터만 발생하지 않는다.
- Data driven의 목적은 올바른 의사결정이다.
- 한쪽에 치우친 시각, 편향(bias)을 피하기 위해 데이터를 이용한다.
편향을 제거했다면 우리는 내일도 한달 뒤에도 1년 뒤에도 오늘과 동일한 결정을 할까?
와인감별사는 같은 와인에 대해 다른 평가를 내릴 수 있다.
In one study, wine tasters, who are supposed to be experts, will rarely agree with themselves when rating the same wine twice. We also have between-subject noise: auditors, product reviewers, and supervisors tend to different quite a lot. Psychologists have known about differences between people (noise) for a long time, but we tend to think more about bias within people.
잡음은 왜 발생할까? 우리는 모두 같지 않고 매일 같지 않기 때문이다.
where there is judgment there is noise, and there’s usually more of it than you think. Where does noise come from? Neurons, perception, internal judgment and more. … Why is this so? People put attention toward different things when making decisions at different moments. Individuals also differ, sometimes in systematic ways, he says. From an organization’s point of view, differences between people is noise
잡음을 줄이는 방법
연말 인사평가: 나는 잡음을 줄였을까
몇년 전 처음으로 팀장을 맡았을때의 일이다. 팀원의 평가를 수행하는 연말이 왔다. 모두의 수고를 너무나 잘 알고 있기에 17명 남짓 팀원들의 순위를 정해야 하는 평가과정은 고통스러운 시간이었다. 처음으로 평가를 하게 된 나는 혹시나 평가과정에 직무수행 외 요소가 섞여들어갈까 전전긍긍했다. 누군가는 빛이 나지 않는 업무를 선택권 없이 맡아야 했고, 누군가는 내 업무스타일의 유사성으로 더 깊은 이해를 가졌을 것이다. 또한 같은 노력이더라도 최근의 기여에 대한 기억이 더 생생할 가능성도 있었다.
이를 방지하고자 업무완결성, 개선효과, 새로운 시도, 소리없는 기여, 지식축적의 5가지 평가항목을 세워 개별 점수를 부여한 뒤 종합점수를 산출하였다. 그렇게 종합점수대로 나열된 팀원들의 명단을 바라보자 미안한 마음이 드는 팀원 몇몇이 보였다. 수치로 정의할 수 없지만 태도나 성실함으로 팀의 중심을 잡아 심적인 고마움이 있는 팀원들이었다. 결국 일부 항목의 점수를 자기설득으로 수정하여 몇몇 팀원의 평가 순위를 변경하였다. 그리고 변경된 결과를 기준으로 팀원들께 결과를 전했다.
해결 방법: 알고리듬(Algorithm)
책에서는 채용면접을 의사결정에 잡음이 끼어드는 사례로 소개한다. 면접자의 첫인상, 후광효과 등 심적으로 면접관에 영향을 미치는 요소를 소개하는데 이를 방지하는 방법으로 알고리듬을 제안한다.
알고리듬은 문제를 해결하기 위한 절차와 방법이다. 동일한 input에 대해서는 변함없이 동일한 output을 제공한다. 이를 현실의 조직으로 옮기면 절차(Process)와 규약(Protocol)을 정립하여 의사결정과정의 변수인 심리적 영향을 줄이거나, 최종 의사결정까지 직관으로 미뤄둘 수 있도록 한다. 연말평가에서 항목별로 점수를 부여했던 방식도 동일하다. 그렇지만 저자는 여기서도 주의할 잡음이 있음을 강조한다. 각 항목을 평가하는 이가 다르지 않다면 항목간 영향도가 발생할 수 있음 또한 이야기한다.
잡음을 대하는 리더의 3가지 유형
여러명의 리더와 일을 해왔다. 그들이 내린 의사결정 가격은 수백만원부터 수백억까지 그 무게가 다양했지만 조직운영 방식은 크게 3가지였다.
- Type1. 조직을 machine으로 생각, 전체/부분의 동작을 모니터링하고 조종해가는 리더
- Type2. 스스로를 조직의 Engine으로 생각, 속도와 압박에 깊숙하게 관여하는 리더
- Type3. 스스로를 하나의 기능 module로 생각, 개인보다 팀의 통찰력을 믿고 위임하는 리더
각 유형을 잡음에 대처하는 자세로 해석해보면 다음과 같다.
- Type1. machine: 잡음은 모니터링 하여 줄이고 피해야 할 문제이다.
- Type2. engine: 높은 속도로 나아가면 잡음은 뒤에 남겨둘 수 있다.
- Type3. 기능module: 각 기능의 유기적 결합은 자연스럽게 잡음을 제거한다.
위 문제가 중요한 이유는 잡음에 대한 자세가 올바른 의사결정의 가능성을 결정하기 때문이다. 알고리듬의 필요성, 알고리듬의 적용영역, 알고리듬이 동작할 조직시스템 구축은 모두 잡음에 대한 리더의 인지와 자세에 달려 있다.
각기 다른 리더의 유형, 어떻게 대응할까?
개인적으로는 (1) 유형의 리더와 일할때 호흡이 가장 잘 맞았다. Ray Dalio는 저서 <Principle>에서 machine으로써의 조직과 상세한 운영지침을 본인의 경험으로 설명한다. ( 사실 machine으로 생각하는 속내는 어떤 기능에도 신뢰를 주지않고 error를 관리하겠다는 차가움도 담겨 있다. )
정반대 성향의 리더와도 함께 해봤다. 전체의 맥락, 순차적 목표를 이야기하기 보다는 그 시점의 문제를 집중하여 빠르게 해결하는 타입이었다. 스타트업처럼 모든 문제가 동일하게 중요하지 않고, 그 중요성 마저 판단이 어려운 상황 안에서는 인정할 수 밖에 없는 추진력이었다.
이렇듯 리더의 성향은 다양하다. 하지만 조직에서 데이터담당자가 해야할 일이 변하지는 않는다. 리더가 올바른 의사결정을 내리도록 잡음을 보여주고 줄이기위한 방법을 함께 찾아야 한다.
리더를 대하는 데이터의 자세
Type1. machine: 시스템적 사고로 잡음을 줄이려고 하는 리더
안정성 하에 정체에 머물 수 있어 변동성을 중심으로 부분/전체를 조망한다.
- 전체 시스템의 이상여부를 종합하는 핵심지표 3~5가지
- value chain을 지칭하는 지표의 상승/하락여부
2. 서비스 기능 간 인과관계, 연관관계를 드러나는 분석
- traffic을 유발하는 기능 (인입/지속/이탈)
- traffic 위에서 CTR등 부가가치를 창출해야 하는 기능
- traffic을 유발한 광고/push 집행 — 방문자수
3. 서비스 내 기능별 상태가 1분안에 파악되는 종합 현황 제공
- 성장/유지/하락과 이상 탐지 여부를 actionable metric으로 제공한다.
Type2. engine: 개인의 역량으로 조직의 속도를 높이는 리더
- 사라지지 않는 잡음의 존재를 알리는 지표
- 동일한 기간 내 실행항목과 목표지표의 연관관계 (CAC, 마케칭 채널 효용 분석)
- 기간 내 Target user의 확보 및 기존 user group의 변화
2. 고객 밀착도(stickiness) 변화
- User retention
- 신규/지속/이탈 그룹의 비율변화
- 서비스 건강성 지표
Type3. 기능 module: 조직간 배치와 적임자의 위임으로 잡음을 줄이는 리더
- 위임 후 실행결과에 왜(Why)를 묻게 하는 정보 제공
- 각 기능별 실행과제 결과와 연계된 Actionable Metric 지표 제공
- 위임 조직의 자의적 지표 해석을 차단하고 공통된 문제인식 지표 수립
2. 각 기능의 통합 / 종료의 의사결정이 가능한 정보 제공
- 각 기능별 User의 교집합, 여집합 + 공통/차별 속성 분포
그래서 당신 조직의 잡음은 줄었을까?
다음이 목격된다면 잡음이 줄었음을 유추해 볼 수 있다.
- 의사결정 시 각자의 중요한 지점이 가까워졌는가?
- 동일 문제의 의사결정의 일관성이 유지되고 있는가?
다음이 목격된다면 잡음이 줄었음을 확신할 수 있다.
- 아픈 의사결정 항목도 포함되었는가?
- 아픈 의사결정을 실행하였는가?
