Santa, AI Tutor for TOEIC의 사용자 경험(UX) 개선기

취약한 개념을 기반으로 사용자의 주도적인 콘텐츠 선택 경험 강화하기

이승헌 (Jerome)

Published in

Riiid Teamblog KR

11 min readNov 16, 2022

안녕하세요! Riiid에서 “Santa, AI Tutor for TOEIC” 의 Product Manager, 이승헌입니다.

Santa 팀은 “AI Tutor 제품을 통해 학습 과정에서 발생하는 비효율을 줄여 보다 많은 학습자가 빠르게 학습 목표를 달성할 수 있도록 하자”라는 미션을 가지고 있습니다. 이에 학습 효과를 향상시키고 학습에 더욱 편리한 도구가 될 수 있도록 여러 고민과 실험을 반복하고 있습니다.

특히 지난 3개월간 Santa 팀은 사용자의 탐색과 선택의 경험을 강화하는 LX(Learning eXperience)를 만들어내는 일에 몰입했습니다. AI가 추천해주는 콘텐츠 경험의 한계를 보완하여 사용자의 주도적인 탐색을 강화하는 사용자 경험을 함께 제시한다면 더욱 다양한 상황과 맥락에서 사용자의 니즈를 깊게 충족시킬 수 있다고 판단했기 때문입니다. 이에 팀원 모두가 문제풀이 콘텐츠 탐색 과정에서 발생하는 비효율의 문제를 해결하기 위해서 집중했고, 그 결과 지난 10월 6일 배포 이후에 선택학습 내 문제풀이 콘텐츠 학습량이 160%! 상승하는 성과를 얻었습니다. 이렇게 Santa 팀이 사용자 경험 전략을 수립하고 새로운 형태의 LX를 구현하기 위해 고민하며 제품을 개선해 나가는 과정을 여러분께 자세하게 공유해 드리겠습니다.

1. 사용자 경험 리서치(User Experience Research) : 핵심 사용자 여정 분석 및 문제 정의하기

제가 PM으로 Santa 팀에 합류하여 가장 먼저 주도한 일은 Santa 제품의 핵심 사용자 여정(Critical User Journey)을 파악하는 일이었습니다. 사용자가 느끼기에 현재 상태 제품의 가장 큰 장점과 단점은 무엇이고, 시간이 지날수록 사용 패턴이 어떻게 달라지는지 이해한다면 더욱 근본적인 개선을 이루어낼 수 있다고 생각했습니다. 다른 커머스, O2O 서비스와는 구별되게 Santa AI Toeic은 사용자가 장기간, 빈번하게 사용하는 제품이기 때문에 여러 UX 리서치 방법론 중 장기간의 사용 경험을 조사하기에 적합한 다이어리 스터디(Diary Study)를 채택하여 핵심 사용자 여정을 알아보았습니다.

이를 위해 16명(기존 고관여 사용자 : 8명 / 신규 사용자 : 8명)의 사용자를 모집해 2주간 제품을 사용하면서 다이어리를 작성하게 했습니다. 그리고 1시간 가량의 In-depth Interview를 통해 사용 경험을 심층적으로 파악했습니다. 이렇게 사용자 그룹별로 수집한 인터뷰 데이터를 테마의 유사성을 기준으로 묶고, 사용 여정 순으로 배열해 가면서 Santa 제품에 대한 사용자의 (1) 기대 (2) 행동 (3) 결과를 자세하게 분석했습니다. 또한, 여러 데이터의 행동적인 근거를 사용자가 작성한 다이어리나 사용 로그를 통해 확인하여, 데이터의 신빙성을 확보했습니다.

*2주간의 다이어리 스터디 후, PM이 Google meet을 활용해 화상으로 In-depth Interview를 진행하는 모습*

사용 기간을 기준으로 초기 사용 사용자와 장기 사용 사용자를 비교했을 때, 장기간 제품을 이용하는 사용자의 경우 점차 선택학습의 이용 비중이 높아졌습니다. 이들 대부분은 아래 5단계를 반복했고, 그래서 이를 핵심 사용자 여정으로 정의했습니다.

추천학습 : AI가 취약점에 기반해 일방적으로 제시하는 콘텐츠를 그대로 소비하는 탭
선택학습 : 사용자가 주도적으로 자신이 원하는 콘텐츠를 탐색하고 소비하는 탭

(1) 1단계 : 추천학습 문제풀이

(2) 2단계 : 취약점 발견

(3) 3단계 : 선택학습에서 취약점에 맞는 콘텐츠 탐색/선택

(4) 4단계 : 선택한 콘텐츠 학습

(5) 5단계 : 실력 변화 확인

사용자가 추천학습을 온전히 신뢰하고 이용할 것이라는 생각과는 다르게 점차 선택학습을 이용하는 비중이 높아진 이유는 학습자의 성향, 사용 맥락(장소, 시험일까지 남은 기간 등), 학습자의 점수대에 따라 추천학습이 충족시켜 줄 수 없는 케이스가 빈번하게 발생했기 때문입니다.

예를 들어 시험일이 얼마 남지 않아 지하철에서 이동하며 취약한 개념인 part 1,2,5를 풀고 싶은데 추천학습에서 part 7만을 추천해줄 때 사용자는 스스로 콘텐츠를 선택하고자 했습니다. AI의 설명 가능성(Explainability)의 부재 또한 점차 사용자들이 AI가 직선적으로 추천해주는 콘텐츠를 온전히 신뢰하지 못하고 스스로 선택하여 사용하는 계기가 되었습니다.

*Santa 팀이 핵심 사용자 여정을 분석하고 여정별 문제를 정의하는 모습*

2. 사용자 경험 전략(UX Strategy) 설계 : 사용자의 콘텐츠 선택의 경험을 강화하여 추천학습의 불완전함을 보완하기

핵심 사용자 여정과 여정별 문제를 정의하고 나니 어떤 일부터 해야 할지 우선순위가 또렷이 보이기 시작했습니다. 학습 경험 측면과 추천 모델 고도화를 위한 데이터 수집 측면에서 “사용자의 탐색 및 선택의 경험을 확장하는 일”을 가장 먼저 달성해야 했고, 이를 통해 학습 리텐션과 1인당 학습량 지표를 상승시킬 수 있다고 예측했습니다.

특히 탐색 및 선택의 과정에서 ‘(2) 2단계 : 취약점 발견 > (3) 3단계 : 선택학습에서 취약점에 맞는 콘텐츠 탐색/선택’의 가치 사슬을 더욱 직관적으로 연결하는 것이 가장 큰 임팩트를 낼 것으로 판단했습니다. 그래서 사용자가 제시하는 다양한 기준으로 취약점을 확인하고 이를 직접 선택할 수 있으면 사용자의 문제풀이 콘텐츠 소비가 더욱 늘어날 것이라는 가설을 세웠습니다. 하지만 당시 Santa는 선택학습은 여러 개념별로 취약도를 상대적으로 비교할 수도 없고, 취약한 개념별로 따로 선택하여 학습할 수도 없었습니다. 그래서 이 문제를 해결한다면 더 많은 사용자의 학습을 끌어낼 수 있다고 생각하며 전략을 설계했습니다.

3. 제품 기획(Product Plan) : 자신의 취약한 개념을 기반으로 한 “콘텐츠 선택의 경험” 설계하기

Santa 팀의 디자이너, 개발자, 콘텐츠 매니저, AI 리서처 분들과 취약 개념을 정의하고, 이를 기준으로 탐색 및 선택을 쉽게 할 수 있을지 아이디에이션했습니다. 스프린트 플래닝을 통해 개발 스펙을 나누어 하나씩 만들어가기 시작했는데, UX 디자인, 백엔드 설계 관점에서는 각각 아래와 같은 철학과 기준을 가지고 구현하였습니다.

“UX 디자인 관점에서는 개념의 상대적인 취약도를 비교한 뒤, 해당 개념을 선택하고 집중적으로 학습하는 과정에서 불필요한 경로를 최소화하는 데에 초점을 맞춰 디자인했어요. 우선, 사용자가 정보를 인식하는 흐름을 고려하여, 취약한 개념 순위 기능을 화면 상단에 배치했어요. 이를 통해 자신이 무엇을 학습해야 하는지 정확히 모르는 사용자의 경우, 별도의 스크롤 없이도 취약한 개념을 확인하고 즉시 해당 개념으로 이동할 수 있게 했어요. 뿐만 아니라 취약한 개념의 절대적인 순위, 변동 정보를 기준으로 하단의 콘텐츠 카테고리에서 직접 콘텐츠를 선택하고 학습할 수 있도록 경로를 설계했어요.

직관적인 경로 연결을 위해 첫 번째로 ‘문제 유형별(기초/ 실전 LC / 실전 RC)’로 구성되어 있던 선택학습 탭 메인 랜딩페이지에서의 콘텐츠 그룹 카드를 ‘파트별(Part 1/2/3/4/5/6/7)’로 선택할 수 있도록 변경했어요. 두 번째, 기존 콘텐츠 그룹 카드 클릭 후 2 depth 화면에서 이전에는 선택할 수 없었던 ‘개념’ 단위로 문제풀이를 선택하고, 집중적으로 학습할 수 있도록 했어요. 개념별 문제풀이 카드에는 AI가 예측한 개념 숙련도와 진행률 등의 정보를 표시해서 콘텐츠 간 상대적인 비교와 선택을 더욱 쉽게 만들었어요.” — Product Designer, 김보라) —

“백엔드에서는 해당 기능과 관련된 내부 이해관계자인 콘텐츠 매니저, AI 리서처의 니즈를 반영하여 데이터 구조를 설계했습니다. 우선 그들과 열띤 논의를 통해서 콘텐츠 태그를 재정의하는 과정을 거쳤고요, 앞으로 콘텐츠 추가, 수정이 빈번하게 일어날 것을 고려하여 별도의 개발 없이 학습 콘텐츠를 불러올 수 있는 콘텐츠 서빙 구조를 만들었습니다. 문제, 강의 등의 콘텐츠 간에 동일한 자료 구조를 적용하여 AI 리서처가 사용자의 시퀀스별 학습 선택 데이터를 반영한 모델을 연구할 수 있도록 지원했습니다. 새로 추가된 개념별 문제풀이 경험을 더욱 강화하기 위해 ‘개념 숙련도’라는 지표도 새롭게 사용자에게 공개하기도 했습니다. UX뿐만 아니라 다음 플라이휠(Flywheel)과 확장성을 고려하여 탄탄한 기반을 만들었어요.” — Backend Engineer, 박서연-

4. 개선 결과 확인 : 유료 사용자의 1인당 선택학습 문제풀이량 160% 상승

계획했던 가치의 MVP를 완성하여 10월 6일에 최종적으로 배포했습니다. 저희가 연결하고자 했던 ‘취약점 순위 확인 -> 취약점에 맞는 개념의 문제풀이 카드 선택’ 까지 최적의 경로가 완성되는 순간이었는데, 처음에 계획했던 타겟 지표가 가설대로 크게 상승했습니다.

(1) 1차 유입 지표로 삼았던 ‘선택학습 문제풀이 카드의 유입량’이 320% 증가했습니다.

*전체 사용자의 선택학습 문제풀이 카드 유입량 변화 (9월 25일~10월 29일 기준)*

(2) 최종 성공 지표로 삼았던 ‘유료 사용자의 선택학습 1인당 문제풀이 콘텐츠 학습량’이 160% 증가했습니다.

*유료 사용자의 1인당 선택학습 문제풀이 학습량 변화 (9월 25일~10월 29일 기준)*

마치며 : 학습 및 향후 개선 계획하기

현재 저희 Santa 팀은 정량, 정성적인 분석을 통해서 해당 지표가 상승한 원인에 대해서 좀 더 깊게 분석해보고 있습니다. 이를 기반으로 기능을 고도화하고, 추천학습과 선택학습, 선택학습과 분석 등을 연결해서 더욱 확장적인 사용자 경험을 만들어 나갈 예정입니다. 우선적으로 취약점 순위 기능이 제공하는 정보의 직관성을 높이기 위해 UX 개선 작업을 진행 중이고, AI & ML 엔지니어와 협업을 통해서 취약점 추천 기준을 다양화하고 모델의 품질을 높이기 위해서 활발히 논의 중입니다.

이번 제품 개선 과정과 그에 따른 성취는 저희 팀이 산발적인 사용자 니즈에 반응하기보다는 사용자 여정에 담긴 여러 행동과 문제를 조망하며 제품에 가장 필요한 것을 전략적으로 계획했기 때문에 가능한 성과였다고 생각합니다. 프로젝트 초반부터 PM, 디자이너, 개발자, 콘텐츠 매니저가 반복적으로 질문을 던지며 목표와 당위성에 대한 동일한 이해를 세웠고, 이를 통해 저희가 의도했던 “메시지”가 사용자에게 전달되었던 것 같습니다. 지금의 작은 메시지가 더 많은 사용자에게, 더 깊이, 그리고 더 잘 전달될 수 있도록 Santa AI Tutor의 이야기를 써 내려가려고 합니다.

다음에는 Santa 팀의 제품 개발 프로세스가 어떻게 사용자 가치를 전달하는 데에 도움이 되었는지, 스토리 주도 개발 방식을 통해 사용자에게 가치와 메시지를 전달했는지 ‘팀의 이야기’를 보다 자세히 전달해 드리겠습니다. 많은 기대 부탁드립니다. 감사합니다.

사용자의 컨텐츠 선택 경험 강화를 위해 함께 노력해온 Santa 팀원들

Santa 팀에서 저희와 사용자 가치 전달과 제품 개발 프로세스를 같이 고민하는 데에 관심 있으신 분들의 합류를 기다립니다.

Santa Back-end Engineer 채용 바로가기

#Riiid #Product and Business #Santa #AI #AItutor #SantaToeic #UserExperience #UXstrategy #CriticalUserJourney #UXresearch #KnowledgeTracing #ProductManager #PM #LearningExperience #뤼이드 #산타토익 #산타 #개발 #개발문화 #개발팀 #사용자경험 #UX #제품개발