성취도는 왜 교육기업에 중요한 지표인가?
*ER팀에서 공동으로 작성한 본 원고는 코드스테이츠의 러닝데이에서 소개되었으며, 참석한 크루들의 응답 내용과 코멘트를 토대로 수정 및 보완되었습니다.
코드스테이츠의 Education Research(이하 ER)팀은 “현장에 필요한 교육”을 실행하는 교육팀의 목표를 지원하기 위해 여러 교육 문제를 보다 깊이 있게 탐색하고 실험하며 다양한 방식으로 교육적 문제의 구조적인 해결을 시도하는 팀이다. 비즈니스와 교육의 경계에 있는 팀이다 보니 구성원들의 관심사 또한 그 두 영역 중간의 어디쯤에 놓여있으며, 우리의 역할이 그 두 영역을 연결하는 매개자라고 생각한다. ER이 팀으로서 발행하는 첫 게시물에 성취도라는 키워드가 등장한 것은 이러한 맥락에서이다.
성취도란 무엇인가?
크루들에게 “취업이라는 결과물이 곧 성취도인가”를 물어본 결과 70%가 아니라고 답했다. 취업이라는 최종 결과물 외에도 학습자들은 과정 중에 다양한 종류의 성취를 경험하며, 취업은 성취도를 나타내는 여러 지표 중 한 가지라는 의견이 많았다. 또한 성취도와 취업은 서로 상관관계가 있어서, 성취도가 높으면 취업이 잘될 가능성이 높다는 의견도 있었다.
그러나 대다수의 교육 기업들이 교육 제품/서비스를 홍보하고 개선하기 위한 목적으로 활용하는 “성취도”는 주로 학습의 최종적인 결과에 관한 내용이다. 성취도는 제품의 효과를 대중에게 강조하고 각인시키기 위한 근거로서 활용되었으며, 예를 들자면 우리는 다음과 같은 문구를 흔히 목격하곤 한다.
“영어 단어 앱을 1개월 동안 이용했더니 하루 평균 30개의 단어를 암기했다”
“AI 튜터링 서비스를 사용했더니 수학 성적이 올라서 명문대에 입학할 수 있었다”
그러나 이상의 문구들을 직접 작성한 사용자들에게 어떤 학습 콘텐츠와 전략들이 효과가 있었는지 물어본다면 아마도 대부분이 대답하기 어려워할 것이다. 이는 지표를 정의하고 관리하는 기업도 마찬가지이다. 결과에만 집중하는 성취도 개념을 사용할 때 학습 경험과 그 효과에 대한 검증은 블랙박스로 남아있게 된다. 이러한 배경에서 ER팀은 결과 중심의 성취도에서 그 범위를 한 단계 확장하여 학습 과정에서의 데이터까지 추적하는 성취도 개념을 제안하고자 한다.
성취도 지표의 유용성
그렇다면 교육 제품 및 서비스 이용자의 학습 과정과 결과에 대한 성취도는 왜 중요한 지표로 고민되어야 하며, 어떻게 활용되어야 할까?
먼저, 성취도 지표는 기업의 입장에서 교육 제품/서비스 이용자가 학습을 시작하고 마무리 할 때까지의 총체적인 여정을 모니터링하고 대응할 수 있는 기준이 될 수 있다. 기존의 결과 중심의 성취도 개념에서는 이용자의 학습 경험이 블랙박스로 남아있었기 때문에 진행 중인 학습에 있어서 이용자들이 잘하고 있는지 또는 도움이 필요한지를 파악하고 대응하는데 에러 사항이 있어 왔다. 만일 학습 과정에서의 성취도 추적이 가능하다면, 수강생이 현재 목표하는 수준에 얼마나 가깝게 도달했는지, 아니면 진행 중인 학습에 어려움을 겪고 있는 지 등 이용자의 학습 경험과 직접적으로 관련된 데이터를 실시간으로 수집하고, 보다 체계적으로 분석할 수 있을 것이다. 나아가, 이러한 분석을 통해 기업은 이용자의 학습 과정에 개입하거나 추가적인 콘텐츠를 제공하는 등의 다양한 수단들을 검토할 수 있으며, 이는 수강생의 개인화된 학습 경험과 실질적인 학업 성취로 이어질 수 있다. 이러한 배경에서 성취도는 개인화된 학습 경험과 학습 효과 극대화를 견인하는 지표로서, 현재 이용자의 만족도를 높이고, 제품 또는 서비스의 LTV를 늘리는데 기여할 수 있는 지표가 된다.
뿐만 아니라, 성취도는 기업이 잠재적인 고객에게 자신의 제품과 서비스의 교육 효과를 입증하기 위한 보다 확실한 근거로서 활용될 수 있다. 이제까지 주요 온라인 교육 기업들은 자사 제품 및 서비스들의 학습 효과를 증명, 홍보하기 위하여 이용률이나 학습 시간 등의 간접적인 지표들을 활용해왔다. 아래에서 보다 자세히 설명하겠지만, 해당 지표들은 이용자 경험에 대한 인사이트를 보여줄 수는 있으나, 이용자들이 실질적으로 어떠한 경로와 단계를 통해 학습을 진행했는지 파악이 어렵기 때문에 학습 전후의 효과를 비교, 검증하기 어려울 수 있다. 이와 대조적으로, 학습 과정 및 결과의 종합적인 분석 결과인 성취도 지표는 제품과 서비스를 구매를 망설이는 잠재적인 고객들의 구매 욕구를 높일 수 있는, 보다 설득력 있는 근거가 될 수 있다.
성취도 측정의 어려움
그 중요성에도 불구하고, 교육 제품과 서비스의 기획, 운영에 있어서 성취도를 파악하는데 현실적인 제약과 어려움이 존재할 수 있다. 왜냐하면 성취도를 추적하기 위해서는 수강생이 무엇을 어떻게 배워야 하는지에 관해 도메인 학습 모델에 대응하는 체계적인 커리큘럼을 제작되어야 하며, 학습자들의 성취도를 실시간으로 추적하고 관리하기 위한 인프라도 구축되어야 한다.
물론 그러한 체계와 인프라가 미비한 상황에서도 수강생들의 변화와 성장을 포착하는 것이 불가능한 것은 아니다. 크루들은 “질문의 퀄리티가 올라갔을 때”, “이슈를 마주했을 때 겁내지 않고 도전하려는 모습을 보일 때”, “사이드 프로젝트나 팀 프로젝트에서 부트캠프를 통해 배운걸 사용할 때”, “서로간의 질문을 답하며 스스로 해결해 나갈 때” 등의 순간에 직관적으로 수강생들이 성장했음을 느낄 수 있다고 이야기한다. 그러나 이러한 순간들은 가르치는 사람의 전문성과 직관에 의해 포착될 수는 있어도 체계적인 시스템 없이 매번 기록하고 관리하기 어려운 것이 현실이다.
성취도가 다른 지표들에 비해 핵심 지표로써 주목받지 못하는 보다 근본적인 이유는 성취도가 다면적이고 측정하기 어려운 지표이라는 점에서 기인한다. 현실적으로 성취도 추적과 관리가 해당 교육 기업의 성패를 좌우한다고 인식되지 않는 한, 이와 같이 복잡한 지표를 측정하는 일에 많은 리소스를 투입하는 것은 매우 어려운 의사 결정이 될 수 있다.
성취도 보다 자주 쓰이는 지표
이상의 내용과 같이 성취도는 무척 복잡하고 측정하기 까다롭다보니, 대다수의 교육 기업들은 교육 제품/서비스의 효과를 측정하고 개선하기 위해 성취도 외의 다른 지표를 대안적으로 활용하는 편이다. 그 중 두 가지가 이용률과 만족도이며, 아래에서는 이용률과 만족도 지표가 갖는 한계에 대해 설명하고자 한다.
(1) 이용률
이용률이란 학습자 중 과정을 끝까지 이수한 사람이 얼마나 되는지, 학습자가 하루에 평균적으로 몇시간씩 학습 사이트에 접속해서 컨텐츠를 이용하는지, 전체 이용 기간 중 출석률은 얼마나 되는지 등을 모두 포괄한다. 이용률은 학습자의 성실도와 컨텐츠의 매력도를 측정하는 주요한 지표 중 하나이다. 그러나 이용률은 학습자가 얼마나 성장했는지에 관해서는 아무것도 알려주지는 않는다. 그럼에도 불구하고 다수의 온라인 교육 기업들은 단지 학습자들을 학습 사이트를 자주 이용하고 오래 체류하게 하는 것을 목표로 학습자의 이용률을 측정하고 모니터링한다.
물론 학습 서비스와 제품을 자주, 그리고 오래 이용하는 학습자라면 성취도가 높을 가능성이 높은 것은 사실이다. 그러나 교육 제품의 이용률과 성취도 사이의 상관관계로는 실제 교육 제품/서비스의 효과를 입증하기는 어렵다. 교육 제품/서비스 자체가 유익하지 않다면 그것을 소비하는 것이 성취도를 높여주지 못할 수도 있으며, 교육 제품/서비스가 유익하고 학습자도 그것을 오랜 기간 동안 소비했지만 성취도가 낮을 수도 있다. 그럼에도 불구하고 다수의 기업들은 이용자의 질적인 학습 경험보다 양적인 학습 경험에만 집중한 채로 교육 제품을 디자인 및 개발해왔다.
학습의 시간과 양에 관한 이러한 관점은 오랜 기간 누적된 학교 경험에서 비롯한다. 우리는 선생님은 모든 것을 알고 있고 학생은 아무 것도 모르며, 선생님이 가르쳐 주는 것이 당연히 가장 좋은 것이고 학생은 의문을 품지 말고 그저 가르쳐 주는 대로 열심히 공부해야 한다는 프레임이 익숙하다. 교육 기업의 맥락에서는 고객과 서비스 제공자라는 관계보다는 학습자와 교사의 관계의 성격이 자주 드러나는데, 교육 기업-교수자가 제공하는 교육 제품/서비스를 소비자-학습자가 열심히 소비하기만 하면 당연히 좋은 효과가 있을 것이라는 전제가 바로 그러한 지점이다. 이와 같은 접근 방식은 기본적으로 교육 제품에는 문제가 없으나 이를 적극적으로 이용하지 않는 학습자가 문제라는 방어적 자세를 만들어 낸다. 이러한 방어적 자세는 교육 제품/서비스의 개선에 부정적인 영향을 끼칠 뿐만 아니라 궁극적으로는 학습자의 만족도와 성취도 모두에 영향을 끼칠 수 있다.
(2) 만족도
교육 제품/서비스의 제공자가 학습자의 이용 시간을 직접 측정하는 이용률과 달리 만족도는 학습자에게 질문하는 방식으로 측정이 이루어진다. 말 그대로 학습자가 얼마나 만족했는지를 의미하는 이 지표는 교육 제품/서비스의 품질에 관해 많은 것을 내포하고 있다.
그러나 연구자들에 의하면 교육 서비스의 품질은 ‘유형성’, ‘신뢰성’, ‘응답성’, ‘확신성’, ‘공감성’, ‘결과의 질’이라는 6가지 차원으로 이루어져있다. 이 중 ‘응답성’이나 ‘공감성’과 같이 해당 서비스가 학습자에게 얼마나 긍정적인 기분을 주는가가 만족도에 관한 내용에 관한 것이라면, ‘신뢰성’이나 ‘결과의 질’의 경우 주로 성취도와 관련된 내용이기 때문에 만족도만으로는 측정하기 어렵다.
물론 만족도와 성취도는 서로 상호작용하는 지표이다. 교육에 대한 만족도가 높아 학습에 적극적으로 임한 결과 성취도가 높아질 수도 있고, 자신이 높은 성취를 이루었다는 만족감이 교육 제품/서비스에 대한 높은 만족도로 이어질 수도 있다. 그러나 만족도가 높음에도 성취도가 낮고, 성취도가 낮음에도 만족도가 높은 사례들을 보면 두 지표는 서로 영향을 주고 받되 각각 다른 것을 의미하는 지표임을 분명히 알 수 있다. 나아가 만족도와 성취도는 상호보완적이기도 하다. 만족도는 직관적으로 학습 경험의 양상을 한눈에 파악할 수 있게 해주지만, 무척 다양한 요소의 영향을 받기 때문에 만족도의 등락 자체로는 교육제품/서비스의 어느 지점이 원인인지 파악하기가 어렵다. 반면에 성취도는 학습 과정과 결과에 대한 정보를 통해 학습자가 실제로 무엇을 어떻게 경험하는지 구체적으로 파악할 수 있지만 만족도보다 복잡도가 높다는 점에서 직관적이지 않다.
그럼에도 불구하고 만족도가 성취도 대신 유용한 단일 지표로 활용되어 온 이유는 제품의 완성도가 높으니 만족도가 높을 거라는 전제에 기대어 홍보 효과를 누리기 위해서일 것이다. 만족도가 높은 학습자들의 후기들을 통해 “나도 만족스러운 제품 경험을 하고 싶다, 성장하고 싶다”고 느끼는 잠재 사용자가 늘어날 수 있기 때문이다. 하지만 정작 교육 제품을 통한 성장이 실질적으로 증명될 수 없다면, 지극히 주관적인 리뷰에 불과해진다. 만족도가 자주 쓰이는 또 다른 이유는 대부분의 교육기업들의 목적이 만족스러운 학습 경험을 판매하는 것에 그치기 때문이기도 하다. 그러나 코드스테이츠와 같이 학습자의 만족 뿐만 아니라 졸업생을 채용한 기업의 만족까지 중요한 교육기업에게 있어서는 학습자의 만족도 지표가 해당 교육기업의 모든 성과를 설명하지 못한다.
성취도가 핵심 지표가 되는 비즈니스 솔루션
이상의 내용을 아주 짧게 요약하자면 성취도는 무척 중요하지만 측정하기에 어렵다는 것이다. 심지어는 성취도와 유사한 용도로 사용할 수 있으면서도 측정이 훨씬 용이한 지표들이 이미 존재하기도 하기 때문에, 교육 기업은 성취도를 측정하고 추적하는 일이 비즈니스적으로 우선순위가 높다고 판단하지 않는한 그토록 어려운 일에 많은 리소스를 투입하지 않을 것이다. 그러나 성취도 추적에 대한 현실적인 어려움을 인정하면서도 우리는 학습 경험을 보다 직접적으로 모니터링하고 개선하기 위해 성취도가 핵심적인 비즈니스 지표로서의 의미를 획득하기를 기대한다. 그렇다면 성취도 측정 및 관리 활동이 비즈니스적으로 중요도가 높아지기 위해서는 어떠한 변화가 필요할까?
우선 비즈니스의 핵심 지표가 되기 위한 조건을 생각해보자. 비즈니스의 핵심지표는 첫째 고객이 그것을 중요하게 여겨야 하고, 둘째 비즈니스 솔루션이 그것과 밀접한 관련이 있어야 한다. 여기서부터는 코드스테이츠의 맥락을 빌려와 이야기하고자 한다. 코드스테이츠의 경우 고객의 통점(pain point)와 비즈니스 솔루션이 모두 취업으로 귀결된다. 즉, 학습 경험이나 효과와 무관하게 오로지 최종 결과인 취업만이 중요한 상황이며, 학습 과정 중의 성취도는 취업이라는 최종 결과이자 핵심 지표에 영향을 끼치는 간접적인 지표에 불과하다. 간접지표인 성취도를 측정하는 것은 우선순위가 낮아지기 마련이고, 우선순위가 낮으면서도 리소스가 많이 드는 복잡한 일이다 보니 기약 없이 미뤄지는 것이 어쩌면 당연한 현상이다. 그러나 앞서 이야기했듯이 학습 과정 중의 성취도는 최종 결과물인 취업에 간접적인 영향을 끼치는 정도의 지표로 남아있기에 그 중요도가 너무 높으며, 최종 성과에 간접적인 영향을 끼친다는 이유로 관리할 리소스의 투입이 어렵다면 핵심 지표로 상향 조정 해야 한다는 것이 우리의 생각이다.
다시 비즈니스의 핵심 지표가 되기 위한 조건으로 돌아오자면, 성취도를 핵심 지표로 만들기 위해서는 그것을 비즈니스 솔루션의 일부로 만드는 것이 중요하다. 그 방법의 한 가지로 우리는 다음과 같은 상상을 해보았다. 코드스테이츠의 학습자들에게 제공하는 솔루션이 취업을 위한 교육이 아니라 자신의 지속적인 성장 과정을 눈으로 확인할 수 있게 해주는 플랫폼이라면 어떨까? 취업이라는 커리어의 시작점에서 역할을 다하는 교육 기업이 아니라 성취도를 측정하고 러닝커브를 학습자에게 공유함으로써 자신의 성장에 대한 지속적인 모니터링을 가능하게 해주는 교육 기업이 되는 것이다. 물론 취업은 여전히 중요한 성과일 것이다. 그러나 취업은 커리어의 시작을 준비하고 첫 직장에 입사하고 이후 지속적인 성장을 이어가는 과정 가운데 한가지 이벤트이지 최종적이자 유일한 종착지가 아닐 것이다. 학습자는 자신의 현재 위치와 미래의 발전 가능성을 성취도 기반으로 지속적으로 체크할 수 있는 서비스를 제공받는 것이다. 이와 같이 성취도를 중심으로 비즈니스 솔루션이 재설정되었을 때 우리는 오랜 교육 기간 끝에 취업이라는 결과가 나왔을 때 비로소 신뢰할 수 있는 교육 기업으로 인식되는 것이 아니라, 교육 기간 내내 지속적인 성취도의 향상을 통해 신뢰를 쌓아갈 수 있다.
러닝데이에 참가한 크루들의 코멘트
“모니터링 솔루션을 자체 개발한다면 코드스테이츠 수강생의 만족도가 올라갈 뿐만 아니라 WeWin 플랫폼처럼 b2b 솔루션으로서의 가치도 있을 거라고 생각합니다.”
“SEB (Software Engineering Bootcamp)는 코드 테스트가 많이 배치되어 있고, 테스트 통과에 성취감을 얻는 수강생이 많습니다. 작은 테스트를 많이 통과하게 만들고, 이에 대한 성취도를 잘 보여주는 것 만으로도 좋은 교육 프로덕트가 될 수 있다고 생각합니다.”
“학생 스스로의 평가, 동료 평가, 교육 운영자 혹은 코치 평가, 기업 평가들이 한 데 어우러지는 다면평가가 좋은 질문들을 활용하여 수시로 이루어지면 좋겠다는 생각을 항상 하고 있습니다.”
“성취도 모니터링이 코드스테이츠의 핵심 비즈니스가 되려면 현상황에 대한 모니터링 서비스를 넘어서서, 미래를 예측하는 모니터링 서비스로 거듭날 수 있어야 할 것입니다. 그렇다면 저희의 주업이 교육업에서 AI교육업으로 업그레이드될 수 있을 것이라 생각합니다.”
“성취도 측정을 독립적인 프로덕트의 영역으로 생각해 볼 수 있었던 기회였습니다.”
