필자는 데이터를 사랑하는 사람입니다. 언제 어디에서나 데이터가 어떻게 쌓이는지 고민하며, 내가 남기는 데이터는 곧 나를 뜻한다는 것을 알고 있습니다. 레스토랑을 가서 저녁을 먹을 때도, 온라인 쇼핑몰에서 제품을 구매할 때도, 필자는 내가 회사에 남기는 기록이 어떻게 나에게 영향을 미칠지 곰곰이 생각하는 것을 좋아합니다. 며칠 전에도 A 회사를 통해 최신 블루투스 이어폰을 주문한 적이 있습니다. 며칠 뒤 저는 회사 제품 만족도에 대한 질문이 왔으며 아래와 같은 설문조사를 보냈습니다.
저는 당연히 제가 산 이어폰에 대한 만족도가 높았고, 품질도 가격대비 뛰어났기 때문에 9점을 주었습니다. 친구들에게도 추천할 만큼 들떠있는 마음과 품질에 대한 만족감이 9점을 누르게 했습니다. 9점을 누르고 떠오르는 생각이 들었습니다. 과연 이러한 고객 설문조사가 얼마나 효과적일까요? 혹시 필자처럼 만족한 소비자들은 동일하게 높은점수를 주었으며, 만족한 고객들은 다음번에 이어폰을 구매할시 같은 회사제품을 살까요?
Net Promoter Score 이란 무엇인가요?
하버드 출신 저자 Fred Reicheld가 처음으로 소개하였던 NPS는 고객 충성도를 측정하는 점수로서 현재 많은 회사들(Avis, HP, IBM)이 적용하고 있는 메트릭입니다 [article: “The one number you need to grow”]. 저자는 NPS가 고객 만족도와 충성도에 대한 근본적인 지표가 될 것이며 미래 회사 성장과 상관관계가 아주 높다고 주장합니다. 고로, 모든 회사는 이 숫자를 키우는 방향으로 회사를 운영해야 한다고 말합니다.
그럼 NPS는 어떻게 구하나요?
NPS를 구하는 방법은 아주 쉽습니다. 100명이 위 설문조사에 응답했다고 가정을 해봅시다. 90명은 9점 혹은 10점을 주었으며, 10명은 1점을 주었습니다. 90%의 소비자들은 “promotor”-(애호가)로, 10%의 소비자들은 “detractor”-(회사에 대한 불만을 가진 고객)으로 분류되어집니다. NPS는 단순히 “promotor”-“detractor” (90–10) = 80이 됩니다. 만약 NPS 가 -100점이라면 100명 모두 1점에서 6점을 준 고객들로 다시는 회사제품을 쓰지 않을 가능성이 매우 높다고 볼 수 있겠습니다.
Airbnb에서도 비슷한 질문을 본 적 있는 것 같아요!
네 맞습니다. Airbnb에서도 2013년 NPS 질문을 도입했습니다. 그 당시 Airbnb에서는 호스트의 만족도에 대한 평가를 이미 하고 있었습니다. 호스트와의 소통, 숙박장소의 청결도, 체크인, 장소, 여행가치에 대한 설문조사를 통해 게스트의 회사 만족도를 이미 실행하고 있었습니다.
Airbnb에서는 NPS 질문이 하버드 출신 저자 말대로 회사성장에 기여를 하나요?
아주 좋은 질문입니다! Airbnb에서도 과연 NPS가 얼마나 회사성장에 도움이 되는 것일까요? 회사 성장에는 아주 많은 요소가 포함되어있습니다. Airbnb에서는 회사 매출을 예측하는 것보다 게스트의 Airbnb 재사용 여부를 예측하는 모델에 얼마나 유효한지 입증하고 싶었습니다. 만약 NPS 질문이 한 게스트의 회사 재방문/재사용에 크게 기여한다면 당연히 단골고객이 늘 것이며, 이는 회사성장을 의미하니까요! Airbnb 출신 Lisa Qian 데이터 과학자는 다음과 같은 방법으로 유효함을 입증합니다.
방법 (Methodology)
Lisa Qian 이 집도한 실험에 목적은 NPS 질문이 얼마나 게스트의 Airbnb 재사용에 이바지를 하는지에 대한 검증을 위함입니다. Airbnb에서는 NPS 점수보다는 앞서 설문지에 나열된 0부터 10까지의 점수 - Likelihood to Recommend(LTR)를 사용합니다. 한 고객이 몇 점을 주었는지에 대한 정보로 고객의 회사 충성도를 측정하고, 그 수치가 고객의 1년 내 회사 재사용성에 미치는 영향이 얼마나 있는지를 모델링으로서 정확한 수치로 검증할 것입니다.
Airbnb에서 사용한 고객 데이터는 총 60만 명의 예약 데이터를 사용하였으며, 정확한 실험을 위해 기간은 2014년 1월 15일부터 4월 1일까지 예약을 한 게스트에 한해서 데이터 추출을 하였습니다.
한가지 유의할 점! LTR 점수가 모델에 영향이 있는지를 알려면 다른 매개변수를 통제하여야 합니다. 예를 들어 하루 숙박비가 $10,000를 지불한 게스트와 $100 을 지불한 게스트와 같은 기준으로 바라보면 안 되는 것과 같습니다. 다음 매개변수는 LTR 효력을 검증하기 위해 통제됩니다.
- 숙박기간
- 하루 숙박비
- 체크아웃 날짜
- 객실 유형
- 게스트의 이전 예약 히스토리
- 게스트 정보
- 숙박 국가 (유럽, 아시아, 아메리카 등)
- 게스트 유입경로
- 리뷰 점수(모든 리뷰는 1~5점으로 통일: 청결도, 소통, 체크인 등)
- 호스트 리스팅 (한 호스트가 보유하고 있는 숙박시설)
Airbnb에서는 이미 고객 만족도를 측정하는 리뷰 설문을 하고 있었습니다. 그럼 기존방식의 설문보다 LTR 점수가 게스트 가 1년 내 재사용을 하는 데에 의미가 있을까요? 모델 적합성 결과를 한번 보겠습니다.
Airbnb에서 사용한 모델은 로지스틱 회귀법 (Logistic Regression)이며 이 모델은 앞서 Airbnb 호스트 선호도 편에서 설명해 드렸습니다. (로지스틱 회귀법이란 여러 가지 변수를 이용하여서 한 고객이 1년 동안 Airbnb 재사용 여부(1:한다, 0:안 한다)를 알려주는 모델입니다). AIC (Akaike Information Criterion)은 다양한 모델들 중 가장 데이터에 적합한 모델을 알려주는 측정방법입니다. LTR 이 가장 높은 수치를 나타내는 것은 AIC가 가장 낮다는 것으로 다양한 모델들 중 상대적으로 제일 적합함을 보여줍니다. 기존에 물어보았던 설문조사들로 만들어진 모델들보다 훨씬 좋은 성적을 받은 LTR, 과연 게스트 재방문의 정확도를 확 올려줄까요?
좌편에 나열되어있는 카테고리는 모델에 들어간 매개변수를 뜻합니다. “Trip Info” 숙박 기간, 숙박비, 객실 유형 등 게스트가 설문조사 외에 알 수 있는 모든 매개변수를 말합니다. “Other review categories”는 기존의 설문조사 (청결도, 호스트와의 소통, 체크인 등)로 측정된 점수입니다. 맨 아래에 있는 모델이 정확성이 제일 높다는 것을 알 수 있습니다. (63.595%).
어라? LTR 이 포함되지 않은 모델 “Trip Info + Other review categories”는 63.593%로 LTR 이 포함된 모델보다 0.002%밖에 차이가 나지 않습니다. 한마디로 NPS 질문은 고객 재사용 예측모델에 효력이 없다는 것을 발견했습니다.
결론
데이터 과학에서는 가정 -> 검증 작업을 무수히 많이 합니다. 널리 쓰이고 있는 지표라고 해서 무조건적 회사에 좋은 지표가 되지 않는다는 것을 이번 실험을 통해서 알 수 있었습니다. Airbnb의 경우 이미 고객 만족도에 대한 측정을 이미 하고 있었으며, 충분히 이 정보로도 좋은 성과를 도출하였습니다. 모든 비지니스가 같지 않듯이, 반드시 검증작업이 필요함을 일깨워 줍니다.
