ADAS(Advanced Driver Assistance System)로 살펴보는 데이터 운영 전략
Data-Driven은 이제는 스타트업에서도 일상적으로 쓰이는 단어가 됐다. growth, 사업, 서비스의 다양한 지표가 언급되지만 실상은 여전히 모호하다. 책임없는 단어로 실제의 과제를 머릿속에 해야할 일들을 연결시키지는 못한다. 그 덕분에 여전히 Buzzword로 취급받거나 사례없음에 조직내부에서도 설득력을 얻기 어려운 상황이다.
이는 고객가치를 전달하는 과정에 데이터가 참여하지 못하고 KPI, OKR 등 결과지표로써만 이용되는 현실로 나타난다. 이것은 원인일까? 결과일까?
개인적으로는 데이터가 원인을 제공하였다고 생각한다. 실무에서의 분석업무는 시스템 차원에서 제공된다기 보다는 독립된 개체로써 수행된다. 보통 하나의 문제가 정의되면 분석을 수행한 뒤 설득력 있는 지표(metric)와 표현(visualization)을 전달한다. 충분히 의미있는 정보가 전달되고 활용되지만 각 분석이 동시에 유기적 관계를 갖고 역할을 분담하도록 설계하는 접근은 일반적이지 않다. 하지만 조직의 고객가치 전달을 위한 주행에 함께하기 위해서는 스스로를 하나의 제품으로 규정하고 시스템 위에서 각 지표와 분석을 제공할 필요가 있다.
그렇다면 Data-Driven을 위한 데이터시스템은 어떤 모습이어야 할까? 이 글에서는 운전자에게 익숙한 시스템인 ADAS를 통해 살펴보려 한다.
ADAS (Advanced Driver Assistance System)
ADAS는 주행보조장치로써 운전의 편의성과, 위험상황 회피를 지원한다. 대표적으로 다음의 기능이 소개된다.
- navigation
- 자동 가속/감속
- 충돌 회피
- 차선 유지
- 주차 보조
- 사각지대 충돌 탐지
ADAS 구현을 위한 3가지 Unit
ADAS의 기능을 구현하기 위해서는 카메라, Radar, 초음파센서가 필요하며 차량 곳곳에 배치되어 시각정보, 비시각탐지정보, 초근거리정보를 종합하여 ADAS의 기능을 수행한다.
데이터시스템으로써의 ADAS 구현
ADAS를 스타트업의 서비스 운영 차원에서 바라보면 ‘고객가치 탐색의 편의성’과 ‘가치 전달과정에서의 장애요소 감지’ 기능을 제공해야 함을 유추해 볼 수 있다. Data-Driven을 위한 ADAS를 구현하기 위해 카메라, Radar, 초음파센서를 먼저 준비해보고자 한다.
1. 카메라 => PMF(Product Market Fit) 평가 지표
Tesla는 자체적으로 개발한 Tricam을 사용중이다. 타 부품사의 카메라와 기술적 차이보다는 목적 cost 절감에 있다고 한다.
얼마 전 Meta(=Facebook)는 개별 기능의 고객전달가치를 평가하기 위한 목적하에 PMF Fit Metric을 소개하였다. 총 3가지 종류의 지표로 구성되며 차량 전방의 각 카메라가 다른 거리를 감지하는 것처럼 특성이 다른 지표로 구성되어 있다.
stable retention: 고객이 반복하여 기능을 사용중인가?
- short and long term retention
- retention across acquisition cohorts
- compare to benchmarks
sustainable growth: 적은 이탈고객, 안정적인 신규유입을 만들어 내는가?
- New
- Retained
- Churned
- Resurrected
- Stale
deep engagement: 고객이 얼마나 자주, 얼마나 오래 머물며 기능을 사용하는가?
- Time spent per day
- L28 (= The number of days out of the last 28 that people used your product)
- Average revenue per person
(+) 장애물 식별
카메라로 인지된 물체는 실제 회피해야 할 장애물인지 판단이 필요하다.
Meta의 PMF 지표는 해석력이 매우 높은 지표이나, 의사결정에 바로 사용되기 위해서는 조금 더 보완이 필요하다.
이동평균 + 시계열분석
스타트업 제품 또는 특정기능의 특성 상 seasonal effect를 함께 고려. 분기 중 특정월에 나타나는 결측치(differencing)을 제거한 정상치(stationary)로 살펴볼 필요가 있다.
Relative Strength line
RS line은 대표지표 대비 개별지표의 우월성 판단이 필요. 주식시장의 종합지표 보다 개별지표의 상승이 가파른 경우 개별 주식의 평가가 상승하는 것처럼 지표 상승,하락이 기능 단독적으로 발생한 현상인지 판단이 필요하다.
2. Radar
카메라는 시각정보만을 판단하기 때문에 ADAS에는 Radar가 필요하다. Radar는 시야를 가린 전방 차량 앞의 도로 상황, 측후면의 주행상황을 가능하게 한다.
마찬가지로 앱 내 활동 기반 데이터로만 바로 전의 PMF 지표는 구성되었는데, 보다 심화된 분석으로 서비스의 내부를 살펴볼 수 있다. 예를 들어 다음의 정보들을 탐색해 볼 수 있다.
- user 속성을 기반으로 user segment를 생성하고 주 사용그룹을 확인
- 주 이용 기능을 기반으로 서비스 이용행태 cluster를 구성하고 그룹화
- 이용경로 분석을 통한 주요 기여 node의 파악
주의할 점은 Radar의 성능은 분석자체보다 분석을 위한 데이터 기획과 정의가 결정한다는 점이다. user 속성을 연령,성별,지역등으로 표현하는것과 주 사용앱, 이용시간, 인앱결제 기록 등으로 표현하는것은 매우 다른 해상도를 제공한다. 보다 깊게 고객 segment를 파악하기 위해서는 추가적인 수집데이터 기획과 활동이 요구된다. UX 상 사용자와 상호작용(interactive) 지점을 기획하여 보다 양질의 데이터를 발생시키는 것도 좋은 전략이 될 수 있다. 만약 제안한 서비스 진입 전 ‘머뭇거렸다’를 데이터로 남길 수 있다면 보다 근접한 거리에서 고객한테 다가갈 수 있을 것이다.
3. 초음파 Sensor
초음파센서는 초근거리의 물체를 감지하여 경고한다. 카메라가 어두운 곳을 잘 확인하지 못하고 전후방 레이더는 근접거리의 상황을 감지하지 못할 수 있다.
서비스 운영상에서는 고객불만, 고객리서치 등 정성데이터가 이에 해당한다. 이 정보는 서비스 DB에도 앱 이용로그에도 user 속성 정보에도 남지 않는다. 몸담았던 회사에서는 녹음된 고객불만 사례를 공유한적이 있는데 불편함을 경험한 고객이 제시하는 서비스 상 문제는 서비스지연시간 분포로 보는 것보다 몇십배의 경각심을 전달했다.
다만 이 부분에서도 정성데이터를 수집하고 정제하기 위한 기획력이 매우 중요한데 고객불만=장애대처, 고객리서치=경쟁사 대비 선호도 정도에서 머물고 만다. 데이터분석가 또는 엔지니어는 이를 앞에서 언급된 PMF 지표와 사용자그룹 분석까지 유기적으로 연결하는 노력이 필요하다.
고객가치전달을 위한 서비스 주행에서의 ADAS 적용
서비스 운영에 ADAS 기능 모듈을 장착하고 주행해보자.
1. 충돌 회피: 목표달성의 장애요소 탐지
먼저 카메라로 정의했던 PMF 지표를 통해 목표달성의 장애요소를 탐지 할 수 있다. Retention, Growth, Engagement 는 직접적인 지표로써 하락이 나타나는 경우 바로 서비스의 성장에 문제가 나타났음을 판단 할 수 있다. 이후 특이성을 판단한 후 적절한 대응계획을 수립할 수 있다.
개인적인 경험에서도 최대 MAU를 기록한 경우에도 단순히 신규유입에 의한 증가였고 이탈율은 증가, 앱 내 체류시간은 감소하여 사실상 서비스의 건강상태에 적신호가 켜졌을음 확인한 경우가 있었다.
이탈율은 매우 핵심적인 지표인데 사실 상 MAU의 전제이나 스타트업의 많은 분석이 이탈율 보다는 MAU에서 시작되는 경향이 높다. 충분한 해석이 되지 않은 상황에서 신규(New), 복귀(Resurrected) 사용자를 과도하게 늘리는 경우 오히려 좋지 않은 경험을 가진 사용자를 시장에 늘림으로써 결국 커다란 부채로 돌아온다.
2. 차선 유지: 정의한 고객그룹의 일치여부와 행동패턴
Radar로 설명됐던 user 속성을 기반으로 특정한 고객군이 특정 기능을 사용하는지 판단할 수 있다. 예측과 다른 사용자그룹이 나타난다면 전달가치를 정비하거나 기능자체를 새롭게 기획될 필요가 있다.
Meta(=Facebook)은 PMF 지표를 소개할때 제품의 기획은 고정적이지만 시기,시장이 변화하면 전달하는 가치 수준이 변화한다는 점을 강조한다. 각각의 차선에서 운영중인 개별 기능이 올바르게 차선을 유지하며 주행하는지 또한 적극적으로 관리될 필요가 있다.
3. 주차 보조: 서비스 기능 종료 프로세스 정립
주행의 끝은 주차이다. PMF 지표로 감지된 장애물을 우회할 수 없는 경우, 적절한 차선으로 주행할 수 없는 경우 해당 기능의 주행은 마치고 새로운 기능으로 출발할 필요가 있다.
데이터는 이러한 기능 종료 프로세스 수립에 기여할 수 있는데 다음과 같은 방안을 계획할 수 있다.
- 분기 별 회고/계획 과정에서 PMF지표를 점수화하여 종료대상 후보군을 선정
- user segment의 적합성, 타 서비스 촉발성 등 Radar로 정의했던 분석으로 2차 필터링
- 고객불만, 리서치, 대외 경쟁사, 시장흐름등을 고려하여 개선/유지/종료 방향을 최종 결정하고 다음 운영 주기에 반영
4. 사각지대 탐지: 정성 데이터의 기획 및 활용
초음파 센서(고객불만, 고객리서치)에서 발견된 정성정보는 PMF상의 지표로 재반영하거나 새로운 User 속성 개발의 시작점으로 활용할 수 있다. 과거 해외의 금융앱에 대한 고객리서치를 수행하였을 때는 저소득층이 지역에서 대출을 받는 행태에 대한 조사를 진행했다. 초기 가설은 지역사회의 유지로부터 대출을 받고 상환하며, 고단한 삶을 살고 있을것이라 예상했지만 실제로 유지와 마을주민은 생각보다 유대적인 관계였다. 결국 대출에 대한 접근성보다는 대출상품의 특성, 차별화가 주효함을 확인할 수 있었고 서비스 개발방향에도 큰 참고가 되었던것으로 기억한다.
ADAS로 해결되지 않는 것: 목적지와 의사결정
지금까지 서비스 주행을 보조할 프레임을 ADAS를 참고하여 살펴보았다. 다양한 지표가 시스템 개념아래 어떤 역할로써 배치되고 연결되어야 하는지 조직운영에 1회성이 아닌 지속적인 기능으로써 동작하기 위한 밑그림을 살펴보았다. 하지만 여전히 많은 부분은 운전자(=의사결정자)에 의해 실행되어야 한다.
1. 가속과 감속, 급제동과 주차
속도를 달성하고 고객가치 훼손을 후에 보완할지, 고객가치 훼손을 우선적으로 고려하여 감속할지는 결정이 필요하다. 완전히 멈춰서고 새로운 우회로를 찾을지 또한 운전자에 달려있다. 차선별로 출발시킨 차량(기능) 중 운행을 중단하고 주차(종료)시킬 서비스에 대한 결정도 운전자의 몫이다.
2. 네비게이션의 목적지 입력
그리고 설사 조직운영상의 데이터활용이 완전한 수준으로 도달했다고 하더라도 해결되지 않는 가장 중요한 문제가 남아 있다. 네비게이션의 목적지는 데이터시스템이 입력할 수 없다는 점이다. 어떤 고객가치를 전달할지, 어떤 목적지를 향할지, 단계적 성장을 위해 경유지를 추가할지는 순전히 서비스 주체의 몫이다.
의사결정자는 반드시 기억해야 한다. 차량은 목적지가 절벽 끝이더라도 스스로 멈춰서지 않는다.
https://electrek.co/2022/06/08/tesla-files-use-new-radar-confused/#:~:text=After years of using a,using cameras and neural nets.
