복수의 개념을 동시에 학습할 때도 Knowledge Tracing을 가능하게 한 모델 ‘KTM’
By 노현빈
노현빈님은 Riiid의 AI Research Scientist로 KT(정오답예측), SP(점수예측), RS(문제추천) 등 다양한 AIEd 연구를 담당하고 있습니다
오늘은 Knowledge Tracing(KT) 문제가 AIEd에서 왜 중요한지, 그리고 이 문제에 대한 기본적인 소개와 더불어 아주 간단한 Knowledge Tracing Machines(KTM)이라는 모델을 소개해보겠습니다.
Knowledge Tracing이란?
우선 KT란 지금까지의 학생의 행동(로그 데이터)을 기반으로 그 학생이 아직 풀지 않은 문제를 풀었을 때 정답 확률을 예측하는 일입니다. Google Ads에서 크롬의 로그 데이터를 이용하여 유저가 광고를 클릭할 확률을 계산하듯, 교육 플랫폼 안에서 유저의 로그 데이터를 이용하여 아직 풀지 않은 문제에 대한 정답 확률을 예측할 수 있습니다. 여기서 KT 모델을 위한 로그 데이터를 어디까지 활용하는지에 따라 다양한 모델을 만들 수 있는데, 학생의 문제 풀이 정/오답 기록, 문제 풀이 시간, 문제 풀이 시각, 학습 콘텐츠 열람 이력, 저장한 vocabulary, 틀린 문제들, Eye Tracking 등 수많은 데이터를 활용할 수 있습니다.
AIEd 분야에서 KT 모델은 왜 활발하게 연구될까요? 교육에서는 학생의 지식 상태(Knowledge State)를 이해하는 것이 중요합니다. 측정 자체로도 중요하지만, 교육의 최종 목표인 가르치는 측면에서도 무엇을 얼마나 잘 아는지 측정할 수 있어야 그것을 최대화할 수 있기 때문이지요. 학생의 지식 상태를 이해하기 위해 다양한 방법들이 이용됩니다. 분야의 전문가가 직접 만든 채점 모델을 이용할 수도 있고, 분야 전문가가 만들어놓은 채점 모델을 예측하는 머신러닝 모델을 사용할 수도 있을 것입니다. 그중 한 방식이 Knowledge Tracing (KT) 모델을 이용하여 Knowledge State를 표현하는 방법입니다. 만약 모든 문제에 대하여 문제를 풀었을 때의 정답 확률을 예측했다고 가정합시다. 그 모든 확률을 나열한 벡터가 학생의 지식 상태를 나타낸다고 할 수 있을 것입니다.
또 다른 이유는 기존 AIEd의 기술들이 KT 모델을 적극적으로 활용했기 때문입니다. 문항 반응 이론(Item Response Theory, IRT)이나 Computerized Adaptive Testing(CAT)에서 학생의 실력을 모델링하기 위한 최적의 문제를 찾을 때, 정보량(information)을 최대화하는 문제를 찾습니다. 여기서 정보량은 정오답 확률 p에 대하여 p(1-p)로 나타나기 때문에 p라는 모델의 정확도가 중요합니다. 뤼이드는 그렇게 하지 않지만(추후에 소개 예정), 최적의 학습을 제공하는 많은 다른 서비스들은 학생의 약점 분석이나 난이도 조절 방식을 택하고 있기 때문에 KT 모델의 정확도가 중요합니다.
KTM 모델 소개
널리 알려진 KT 모델들에는 Bayesian Knowledge Tracing(BKT), Deep Knowledge Trcaing(DKT), Item Response Theory(IRT), Matrix Factorization(MF) 등이 있습니다. 이 모델들은 주로 학생의 정오답 데이터를 활용하며, 하나의 문제가 하나의 개념에 대응하도록 설계가 됐습니다. 이 때문에 문제 하나가 여러 가지 지식을 요구하는 경우 모델링하지 못하는 구조적 한계를 가지게 됩니다. 물론, 학생의 정오답 데이터 이외에 추가로 다른 정보를 입력값으로 사용한 모델도 존재합니다. 대표적으로 문제를 풀 때 필요한 개념(Knowledge Component)을 사용하는 KTM, 문제의 텍스트 데이터를 활용하는 QuesNet 등이 있습니다.
오늘은 Knowledge Tracking Machines(KTM) 모델에 대해 소개하고자 합니다. KTM 모델은 모든 문제가 그것을 풀 때 필요한 지식의 모음이 있다는 아이디어에서 출발합니다. 예를 들어 y=x² + 2x를 인수분해하려면 방정식, 미지수, 인수분해 등에 대한 개념을 이해하고 있어야 합니다. KTM 모델은 사용자의 문제 풀이 결과에 따라 그 문제들을 풀 때 사용한 개념들을 얼마나 이해하고 있는지를 고려하여 아직 풀지 않은 문제의 풀이 결과를 예측합니다. Table 1은 각 문제를 풀 때 유저의 지식 상태와 문제를 풀기 위해 필요한 지식, 그리고 문제 풀이 결과를 보여줍니다.
KTM 모델의 수식에는 많이 알려진 Logistic Regression과 Matrix Factorization가 포함되어 있으니, 두 모델의 특성이 합쳐져 있다고 볼 수 있습니다. Logistic Regression 부분은 문제 자체를 모델링하여 정답률을 예측해주고, Matrix Factorization 부분은 문제에 필요한 개념들에 대한 이해를 모델링하여 예측해주니 그 두 모델을 앙상블(ensemble)한 KTM 모델이 두 특성을 모두 capture할 것이라 예상할 수 있습니다.
KTM을 활용하면 기존 모델들에서 student, item의 latent dimension을 늘리는 것보다 좋은 성능을 보입니다. 이 실험을 위해 Table 2와 같은 다양한 데이터를 활용했는데, 널리 알려진 Assistment 데이터에 대해서 Baseline 모델들과 비교한 성능이 Table 3와 같습니다. 특히 dimension을 늘리면 성능 향상이 있으나, 큰 향상은 없었습니다.
결론
머신러닝으로 AIEd 관련하여 가장 쉽게 접해볼 수 있는 KT 모델에 대한 간단한 소개와 그 예시로서 KTM 모델에 대해 알아봤습니다. 실력을 진단하고 평가한다는 측면에서 KT라는 연구주제 이외에도 Score prediction, Relative assessment models, Active learning, Diagnosis question selection 등 다양한 주제가 많습니다. 물론 진단 및 평가라는 범주를 벗어나면 훨씬 많습니다(추후 소개). 하지만 이런 분야는 그 도메인에 특화된 데이터를 기반으로 연구가 이루어지는 경우가 많기 때문에 KT라는 분야에 많은 연구원이 관심을 두고 있습니다.
References
