데이터-중심 문화를 위한 팀 구축 전략
데이터는 기업에 꾸준한 통찰력을 공급하고 인터넷 서비스와 브랜드가 지속적으로 성장할 수 있도록 돕는 중요한 연료로 표현된다. 그러나 이제 더 이상 데이터의 중요성을 더 설명하거나 강조할 필요가 없을 만큼 오늘날 데이터-중심 기업의 성공 사례는 너무나도 많기 때문에 … 이 글에서는 우리가 어떻게 준비를 하고 팀을 조직화해서 운영할 수 있는지에 대해 몇 가지 소개 해본다.
제일 먼저 Think with Google 공식 블로그를 보면 데이터 팀 구축에 대한 3 가지 모델이 소개되어 있다.
첫번째 모델은 중앙에 우수한 팀을 만들어두고 일관된 지침, 도구 및 프로세스를 센터에서 실행하는 방식이다. 단점은 역시 사업 전반에 걸쳐 여러 팀이 가지고 있는 다양한 데이터 요구사항을 잘 처리하지 못하는 점이다.
두번째 모델은 분산된 팀 모델로 분석 팀을 회사 전반의 각 부서에 배치하는 방법이다. 이 구조는 각 팀이 보다 유연 해지고, 필요에 따라 전술적인 변화를 가능하게 한다고 한다. 단점으로는 큰 그림을 놓칠 수 있고 Data가 siloed 될 수 있다는 점이다.
세번째 모델은 허브-앤-스포크 (허브는 바퀴, 스포크는 바퀴살이란 의미다). 위 두 가지 모델을 혼합한 하이브리드 형식으로 중앙에 우수한 팀을 만들어 두고 개별 부서의 분석가와 상호 소통케 하는 협업 클러스터 모델이다.
Netflix의 데이터 팀 구조 경우, 중앙 모델 보다는 “Highly aligned, loosely coupled”를 강조하는 문화 덕택인지 각 마케팅, 재무, 그리고 제품 개발 등에 Data Engineer와 Business Analyst를 박아 놓고 알아서 진행하는 분산 모델을 채택한 것으로 알려져 있다.
최근에 나온 제안은 Andrew Ng 교수의 “AI회사로 거듭나는 방법”^[1]이다. 개인적으로 가장 공감하는 글이기도 한데, 그는 AI 시대 이전과 이후의 Data engineer, ML engineer와 Data scientist, 그리고 조직 배치와 운영 방법이 달라져야한다고 말한다. 마치 데이터를 가공하고 응용하고 운영하는 그 방식 자체를 이미 옛날 옛적 호랑이 담배피던 “빅 데이터 시대”로 바라보듯이 …
필자도 스타트업 기술총괄 역할을 할 때 데이터 팀을 빌딩 해 본 경험이 있는데, 가장 아쉬웠던 점은 애초의 정보 검색, 서비스 품질 향상과 최적화, 조직 내 효율을 위한 데이터 팀 설립 취지와는 달리, 각 부서에서 요구하는 루틴한 데이터 추출 업무라던지, 각 부서의 결과를 있어(?)보이게 만드는 보고 자료를 대신 작업해주는 업무를 하는 기이한 현상을 목격했다.
각 Business functions에 데이터 기술지원하는 접점에 구성원들 지식 배경이 너무 다르고 언어가 너무 달라 발생하는 문제이기도 했고, 각 부서에서 원래 진행하던 업무 관성 때문이기도 했으며, 구성원 간 묘한 관계 문제이기도 했다. 누구나 불편한 진실은 피하고 싶은 법이다.
이를 그나마 경영에서 유연하게 해결하는 방법으로 분산 모델이 채택 될 수 있지만, 부서 간 사일로를 형성하게 되고 큰 그림을 놓치는 문제는 피할 수 없다.
이 때문에, Andrew Ng의 실전 경험을 바탕으로하는 제안에 격하게 공감할 수 밖에 없다. 내부 고객을 통해 작은 성공을 만들며 신뢰를 쌓아가는 현명함이 필요한 동시에 기업은 어느정도 그들의 독립성을 인정할 필요가 있고, 데이터와 수학적 도구가 개별 성과에 오용될 여지가 없는 기계학습으로 대동 단결하는 방향 말이다.
