토익 학습자의 GPT 사용패턴 엿보기 (feat. Santa AI Tutor)
안녕하세요, Riiid DevRel 매니저 최가인입니다.
챗GPT 등장 이후로 교육 서비스에 이를 접목하는 다양한 시도가 진행되어 오고 있습니다. 학습자 수준에 맞는 상호작용이 가능해짐에 따라 학습 콘텐츠 추천 및 자동 제작, 맞춤형 커리큘럼 제안, 교육 리포트 제공, AI 스피킹 튜터 등 초개인화된 교육 시스템을 구축하여 더 속도감 있게 발전해 가는 양상입니다.
인공지능 기술을 활용해 시간과 공간의 제약 없이 최단 시간 내에 사용자가 원하는 토익 점수 향상을 경험할 수 있도록 최적의 AI 솔루션을 제공해 온 Riiid의 플래그십 프로덕트 “Santa AI Tutor” 역시 영어 학습 패러다임을 변화시키고 사용자가 학습에 몰입하여 목표를 효율적으로 달성하는 경험을 향상시킬 새로운 방법으로 지난 7월 10일부터 GPT 기능을 도입하였습니다.
약 한 달이 지난 지금, 업그레이드된 Santa AI Tutor와 소통하며 학습 중인 사용자들의 학습 패턴과 따끈따끈한 반응을 개발팀을 만나 함께 살펴보겠습니다.
Q. Santa AI Tutor 팀에서 GPT 도입을 추진한 메이커분들을 초대했는데 각자 자기소개 부탁드려요.
[최민혁 PM] 안녕하세요, Santa AI Tutor PM 최민혁입니다. AI 기술을 활용하여 영어 학습자분들이 시간, 공간, 비용적인 제약 없이 효과적으로 학습하는 경험을 만들어 나가고 있습니다. 학습 경험에 美친 멋진 AI 연구원분들, 콘텐츠 전문가분들과 함께 글로벌 시장에서 다양한 실력과 배경을 가진 토익 학습자들에게 체감되는 초개인화된 교육 서비스를 제공하기 위해 열심히 고민하고 있습니다. 😁
[이현승 연구원] 안녕하세요, 인공지능 연구원 이현승입니다. 뤼이드에서 이미지 연구로 시작해서, 현재는 주로 언어를 통해 사람-AI가 상호작용할 수 있는 방법에 관해 연구하고 있습니다. 특히 제품 가치를 높일 수 있고 사용자의 문제를 해결할 수 있는 AI 기능 도입에 관심이 많습니다. 그래서 GPT를 알맞게 활용할 수 있으면 ‘학습’이라는 장기적인 여정에서 대화를 나눌 친구나 선생님이 생겨 학습유도를 이끌 수 있겠다는 가설을 세웠고 이번에 산타 팀과 함께 GPT를 Santa AI Tutor에 도입하였습니다.
[박재연 매니저] 안녕하세요, Santa AI Tutor 콘텐츠 R&D 매니저 박재연입니다. 저는 산타 제품에서 서비스되는 영어 학습 콘텐츠를 담당하고 있습니다. 2년이 조금 넘는 기간 동안 재직하면서 전통적인 교육 기업에서 서비스하는 콘텐츠부터 다양한 AI 기술을 활용한 학습 콘텐츠까지 전반적으로 기획, 제작 및 관리해 왔습니다. 이번 GPT를 도입한 Santa AI Tutor를 학습자들에게 도움이 되는 서비스로 제공할 수 있어서 너무 기쁘게 생각합니다.
Q. 왜 Santa AI Tutor에 GPT를 도입하게 되었나요?
[박재연 매니저] 전통적인 학습 방식에서 사용자는 문제 또는 궁금증을 인식하고 질문에 대한 답변을 찾을 때까지 직접 관련 자료를 찾아 나서야 하거나 관련 커뮤니티에 글을 올린 후 무작정 기다려야 합니다. 그러다 보면 문제 해결까지 꽤 오랜 시간이 소모되므로 이러한 문제를 GPT를 도입하여 해소하고자 했습니다. 학습자가 학습하면서 어떤 질문을 하는지 파악하고 적절한 답변을 빠르게 제공해서 학습 효율의 향상을 지원하는 일이 무척 중요 해졌기 때문입니다.
그래서 저희 제품의 가장 큰 장점이라고 할 수 있는, 디지털화된 방대한 양의 토익 학습 콘텐츠를 언제 어디서나 쉽게 접근할 수 있다는 점에 GPT를 붙여 채팅창에 질문을 입력하는 경우 Santa AI Tutor가 단시간에 맞춤형 답변을 제공하여 바로 궁금증을 해소해 드리고 더 나아가 학습 흐름이 끊기지 않도록 디자인하였습니다.
[최민혁 PM] 재연 님 말씀처럼 기존 영어 학습 환경에서는 아무래도 각자의 언어 경험에 기반한 사고방식과는 결이 다른 고정적 해설과 예외 사례를 많이 접하다 보니 기계 번역기, G사와 N사의 검색창, 영한사전, 영어 학습 커뮤니티 그리고 여러 기출 자료를 찾아다니느라 학습 계획에 종종 차질이 생긴다는 피드백을 전달해 받곤 했습니다.
그래서 저희는 잘 훈련된 GPT에 Riiid 콘텐츠를 적용하여 사용자가 원하는 답변을 즉각적으로 제공함으로써 학습 흐름을 끊지 않고 점수 향상에 대한 고충을 해소해 줄 수 있지 않을까 하는 가설을 수립하였습니다. GPT를 활용한다면 아무래도 기존에 가지고 있던 기술적 장벽과 비용 문제로 빠르게 해결하기 어려웠던 사용자 가치를 임팩트 있게 전달할 수 있을 거라는 기대가 들었기 때문입니다.
GPT는 Language Tutor로서 튜토리얼 능력이 압도적으로 훌륭하고 네이티브의 언어 패턴을 학습했기 때문에 퀄리티가 보장된 자연스러운 언어 학습이 가능합니다. 덕분에 사용자는 본인의 실력, 학습 목적, 관심사, 트렌드에 기반해 나만의 언어 학습 효과성을 높여주는 24시간 튜터를 만날 수 있게 되는 거죠.
Q. GPT가 적용된 Santa AI Tutor는 어떻게 작동하나요?
[이현승 연구원] 현재 Santa AI Tutor는 학생들이 문제를 푼 뒤 해당 문제에 대해 질문을 하면 그것에 맞게 적절한 답변을 할 수 있게 설계가 되어 있습니다. 문제를 풀다가 궁금한 점이 발생하거나 추가적인 해설이 필요한 경우 해당 문제의 채팅창에서 자유롭게 질문을 입력하시면 됩니다.
가장 화두인 GPT-4를 활용하여 사용자의 학습 경험을 최적화하는 프롬프트 엔지니어링 기술을 접목한 덕분에 사용자의 질문과 의도를 빠르게 파악하여 최적의 답변을 생성할 수 있게 디자인되었습니다. 특히 답변 퀄리티를 높여 전문성, 일관성, 속도를 보장하고 다양한 국가와 배경의 사용자들이 이해하기 쉽도록 설계되었습니다. 현재 데이터의 양적 확보와 사용자 이용 패턴 분석을 통해 답변의 정확도를 개선하기 위한 프롬프트 고도화를 진행 중입니다.
Q. Santa AI Tutor 사용자가 어떻게 서비스를 활용하고 있는지 살짝 봤는데 너무 흥미롭고 재밌었습니다. 사용자들의 이용 패턴을 소개해 주실 수 있나요?
[최민혁 PM] 일본(JP), 대만(TW), 베트남(VN), 태국(TH), 미국(US) 동시 런치 이후 3주가 지난 현재까지 14,000건 이상의 사용량을 확인했고, 한국 51.7% > 일본 29.0% > 대만 16.2% > 베트남 1.6% > 기타 순으로 GPT 이용률을 보이고 있습니다. 이용 패턴에 관해 흥미로운 점은 대부분의 한국 사용자는 문법에 관한 질문을 지속해 입력하고, 일본 사용자는 어휘를 중점적으로 입력하는 양상을 보인다는 점입니다.
일본이 사용자 수 대비 GPT 이용률이 높은 경향도 흥미로워 분석해 본 결과, 현재 일본에서는 챗 형태로 영어교육을 받는 코칭 시스템이 꽤나 많이 보급되어 있어서 사용자가 챗 UI 서비스에 크게 저항감이 없을 뿐더러 사람 튜터에게 직접 물어보는 행위를 오히려 부담스러워 하기 때문으로 분석되었습니다.
물론 이제 막 데이터와 피드백을 수집하는 단계이지만 그래도 나라를 막론하고 대부분의 사용자가 이번 기능에 대해 긍정적인 경험으로 인식한다는 점을 알 수 있습니다.
[박재연 매니저] 저희 역시 매일 사용자들의 사용 데이터를 들여다보면 꽤 흥미로워서 모니터링하는 시간이 즐거운데요, Santa AI Tutor가 실제 사람인지 인공지능인지 정체성을 물어보는 질문 또는 어떻게 이 기능을 사용 가능한지 문의부터 시작하는 분도 계십니다. 사용자 친화적 인터페이스 덕분에 대체로 문제 풀이 노하우, 단어 발음, 오답률 문의, 고민 상담까지 다양하게 질문을 입력하며 자유롭게 사용하는 모습을 엿볼 수 있습니다.
Q. 대체로 Santa AI Tutor 사용자뿐만 아니라 학습 서비스의 사용자들은 GPT를 적극적인 학습 도우미로 활용하기보다는 단순하게 프롬프트를 입력하고 원하는 답변을 얻는 데에 그치는 경향이 있는데, 다음부터는 어떤 학습 패턴과 학습 경험을 얻을 것이라 예상하십니까?
[이현승 연구원] 현재 많은 사용자가 단순 독해 및 어휘 학습 위주로 질문하는 양상을 보여주고 있는데, 실제로 GPT를 활용한 학습을 통해 더욱 빠르게 목표를 달성할 수 있어 괜찮은 학습 방법 중 하나라고 생각합니다.
하지만 저희 서비스를 이용하는 학생의 지식수준과 예측 점수를 GPT가 측정하여 더욱더 나은 학습경험을 설계할 수 있도록 Riiid의 Knowledge Tracing 기술을 접목하고 프롬프트 엔지니어링 기술을 고도화한다면, 사용자들은 지금보다 한 차원 더 높은 학습 경험을 추구하고 적극적인 상호작용을 이어 나갈 것으로 예상합니다.
[박재연 매니저] 현승 님 말씀처럼 더 높은 학습 경험 제공을 위해 콘텐츠 R&D 팀은 지금처럼 계속 사용자 모니터링을 하며 언어 학습에 필요한 실질적인 팁과 사용 방법을 학습 가이드로 제작하여 효과적인 도움을 드릴 예정입니다. 그렇게 된다면 사용자들이 지금보다 훨씬 더 적극적으로 GPT를 활용한 학습 패턴을 보일 것이고 이는 언어 학습의 판도를 바꿔놓을 것입니다.
Q. 마지막으로 단시간에 GPT를 제품에 런치한 소회는 어떠세요? 그리고 앞으로의 계획은 어떻게 되나요?
[박재연 매니저] 챗GPT를 활용하여 데이터의 양적 선두를 추구하고 프롬프트 고도화를 통해 사용자의 학습 효율을 높이는 기능을 출시했다는 점에서 팀 분위기는 고무적입니다. 그러나 아직은 Language Tutor로 나아가기 위한 시작 단계인지라 문제 풀이 시에만 GPT 기능을 사용할 수 있습니다. 이 부분은 팀원들과 함께 이른 시일 내에 확장하여 모든 언어 학습 과정에서 발생하는 궁금증을 해소할 수 있도록 노력할 계획입니다. 그리고 기능이 더욱 발전하기 위해서는 사용자의 피드백이 굉장히 중요하기 때문에 다양한 콘텐츠로 사용자 분들과의 상호 작용을 만들어 나갈 예정입니다.
[최민혁 PM] 기능 배포까지 가슴 졸이면서 사용자분들의 반응을 살펴본 결과, 1만 개가 넘는 채팅 중에 👍 (칭찬)을 받은 답변이 👎 (마음에 들지 않았던) 답변에 대비해서 16배 정도가 많았고 GPT를 쓰는 사용자의 리텐션이 계속해서 높게 측정되고 있습니다. GPT의 생성 내용을 검증하고 검수하는 기술을 저희가 보유해서 가능한 부분이기도 하지만, 아직은 헛똑똑이(?)일 때가 있는 GPT를 훈련하는 노하우를 보유하고 있어서 가능한 부분이라고 생각합니다.
출시 한 달 지난 지금 시점에 이제는 무엇을 학습시켜야 하는지를 벗어나 어떻게 마이크로하게 피드백할 수 있을지 다 같이 고민하게 되었는데요, 아직은 어린 기능이지만 긍정적인 피드백을 보내주신 사용자분들의 성원에 힘입어 계속 최고 품질의 언어 학습 서비스로 발전시켜 나가겠습니다.
[이현승 연구원] 아직 GPT가 모바일 학습 품질을 향상하고 학습 접근성을 개선하는 데에 부족한 부분이 많지만 이제 시작 단계이기 때문에 저를 비롯한 연구원들은 사용자에게 더 정확한 답변을 제공하고 사용자가 서비스를 이용하는 목적에 부합하는 콘텐츠를 제대로 제공하는 범위를 늘리기 위해 사용자의 이용 패턴과 AI가 생성한 설명을 지속해 분석하면서 모델을 테스트하고 고도화할 예정입니다.
네, 이렇게 GPT 도입을 통해 영어 학습에 최적화된 학습 경험을 제공하는 Santa AI Tutor 개발팀을 만나 새로운 기능 출시 소식과 사용자들의 사용 패턴을 함께 살펴보았습니다.
산타는 영어 학습자의 토익 실력을 빨리 향상시키는 방법을 가장 잘 알고 있습니다. 앞으로도 사용자가 목표한 영어 성적을 얻을 수 있도록 도우며, Multimodal Large Language Model(MLLM)을 사용해 사용자의 시험 준비를 어떻게 지원할 것인지 계속 연구하면서 General AI Tutor로 발전할 예정입니다. 언어 학습에 진심인 여러분의 관심과 응원이 필요하니 많은 기대 바랍니다.
💬 Santa AI Tutor와 소통하며 본인의 영어 실력을 더 향상시키고 싶다면, https://kr.aitutorsanta.com/ 에서 직접 경험해 보세요. 💬
