Ai면접 코칭 : 면접질문생성 고도화 작업
8월 8일, 자기소개서 서비스를 런칭했다. 이번 런칭 과정에서는 총 5종의 AI LAB의 자기소개서 관련 기술을 활용했다. ChatGPT로 작업한 자기소개서 초안 생성 및 다듬기 기술을 통해서 자기소개서 초안을 쉽게 작성할 수 있는 서비스를 개발했다. 그 외에 구직자가 직접 작성 시에 작성과 동시에 코칭을 받을 수 있는 형태의 서비스가 구성되었는데, 총 4종의 코칭 중 AI LAB에서 제공하는 기술은 3가지이다. 기 개발한 Ai자소서 코칭, 지능적 표절 검출 및 코칭 방향의 고도화 작업을 한 표절 검사, 그리고 지난 4월 런칭한 Ai면접 코칭이다.
이 중 Ai면접 코칭의 경우, 기 개발된 것을 그대로 사용하지 않고 기능이나 품질 면에서 업그레이드된 버전으로 제공하고 있다. 이번 포스팅에서는 해당 고도화 작업에 대해 자세히 이야기해 보고자 한다.
런칭 후, 4개월 간의 이용 데이터
지난 4월 4일 런칭 이후, Ai면접 코칭 서비스는 13만 건 이상 사용되었다. 위 그래프와 같이 런칭 후 4주 정도 지나 이용 수가 2배 정도 급격하게 증가했다. 이는 아래와 같은 구직자가 입사지원 시에 해당 서비스를 화면을 노출하는 알럿이 추가되었기 때문이었다.
각 구직자는 1일 20회만 해당 서비스를 사용할 수 있다. 구직자들의 이용행태를 조사한 결과, 주로 5회 미만으로 사용한 구직자가 일 평균 4분의 3 정도의 비율로 나타났다. Ai자소서 코칭의 경우에는 코칭 내용을 확인 후에 수정하고 확인하는 서비스 특성 상 재사용 비율이 높다. 반면 해당 서비스의 경우에는 질문 코칭을 1–2회 받아보고, 이에 답변 피드백 코칭을 받는 경우 정도가 대부분으로 나타났다. 입력된 동일 자기소개서 내에서는 나올 수 있는 질문 자체에 한계가 있기 때문으로 판단했다.
이러한 이용행태 덕에 입력된 자기소개서가 로깅 상 중복으로 나타내는 케이스는 많지 않았다. 사용 건수에 대한 정보는 가명처리된 주요 문장 정보와 분석 결과로 나간 면접질문 정보가 로깅 데이터로 남는다. 해당 데이터를 통해 서비스 품질을 모니터링했고, 고도화 방향도 잡을 수 있었다.
개인화 면접질문생성 내재화 기술 고도화
기존 Ai면접 코칭은 크게 두 방향으로 개인화 면접질문생성을 수행했다. 주요 문장 추출을 공통적으로 수행한 이후, ChatGPT를 통한 면접질문생성과 내재화된 AI LAB의 개인화 면접질문생성 기술을 활용하는 것이다. 이번 런칭 과정에서는 이 중 내재화 기술을 고도화했다.
ChatGPT 로직과 내재화 로직의 질문생성 비중 차이
면접질문생성 사용 시, 적게는 3개에서 많게는 10개까지의 질문이 생성한다. 로깅 데이터를 통해 생성 로직에 대한 비율을 분석할 수 있었는데, 내재화 로직 질문 수가 전체 질문 중 4분의 1정도로 나타났다. ChatGPT 기반 로직 질문 수가 3배 정도 높게 나타난 것이다.
내재화된 면접질문 생성은 생성 요건에 부합하는 문장을 탐색하고 패터닝과 분류 모델을 기반으로 한다. 때문에 생성 요건이 타이트하거나 요건 자체가 적을 수록 생성 비율이 적게 나타난다. 반면, ChatGPT 기반 로직은 주요 문장이 추출되지 않아도 3–5건의 질문을 생성될 수 있도록 개발되어 있다. 내재화 로직은 다소 타이트하게 개발되어 생성 비율이 낮고, ChatGPT 기반 로직은 기본 생성 값이 존재하여 비중의 차이가 생기는 것으로 판단했다.
내재화 기술을 고도화해야 하는 이유와 그 과정
ChatGPT API는 텍스트를 활용한 대부분의 Task에서 우수한 성능을 보이고 있는 강력한 무기이다. 그러나 ChatGPT API를 호출할 때는 비용도 발생하고 속도도 서비스하기에 다소 애매한 경우가 많다. 프롬프트 엔지니어링을 수행하더라도 결과를 완전히 제어하기 어렵기도 하다. 서비스를 위한 모든 부분에 사용할 경우에는 너무 무겁고 위험부담이 클 수 있다. 이에 AI LAB에서는 너무 의존적인 것보다는 이를 활용해 내재화 기술을 지속적으로 고도화하여 단단하게 지반을 다지는 것을 목표로 한다. 내재화된 기술이 탄탄하게 있으면 더 효율적으로 ChatGPT를 서비스에 녹일 수 있고, 프롬프트 엔지니어링도 더 용이하게 할 수 있다.
이러한 방향성에 맞춰 Ai면접 코칭 내에서도 내재화 로직을 고도화할 필요를 느꼈다. 질문생성이 더 잘 될 수 있도록 생성 요건에 대한 패턴을 넓게 구성하는 것을 목표로 삼았다. 로깅 데이터 중 ChatGPT 기반 로직의 질문과 내재화 로직 중 직무 질문에 대한 질문 데이터를 분석해 수천 건의 NCS 직무 질문 패턴을 재구축했다. 추가로 로직 내에서 동작성 명사구 등장과 NER 요건을 수정하여 생성 요건을 러프하게 풀어주었다. 수천 건의 품질 QA를 통해 품질적으로 저하가 없으면서 더 자주 질문이 생성함을 확인했다.
결과적으로 개편된 로직과 패턴을 적용한 결과, 적용 전주 대비 내재화 로직의 생성 질문 수가 상승한 것을 확인했다. 아직 ChatGPT 로직 질문 대비로는 떨어지지만 7% 가량 생성 비중을 높일 수 있었다. 직무 경험과 스킬에 대한 언급이 높을 수록 AI LAB의 내재화 로직으로 만든 질문을 받을 수 있다.
공고-이력 정보 대상의 면접질문생성
이번 고도화 작업에서 크게 바뀐 부분은 기존의 Ai면접 코칭은 자기소개서만을 대상으로 하지만 자소서 서비스 내에서는 지원하고자 하는 공고와 구직자의 이력서 정보에 대한 질문도 생성한다는 것이다. 자기소개서 관리 서비스 자체가 신입/인턴 대상의 공고들이 요구하는 자기소개서 문항들에 연동이 되어 있어, 공고 정보를 받아올 수 있기 때문에 제공할 수 있는 서비스이다.
런칭 후 입사지원 시에 노출되면서 2배 이상 사용량이 급증한 것을 통해, 자기소개서 외에도 입사지원 시의 주요한 정보를 제공하는 것이 필요하다고 판단했다. 이에 맞춰서 공고 정보를 활용할 수 있는 서비스 런칭이었기 때문에 해당 기능을 추가하는 것으로 결정했다.
사람인 검색엔진 API 연동
공고 정보와 이력 정보를 사용하기 위해 ChatGPT 사용 전에 각 정보를 끌어와서 프롬프트에 추가해야 한다. 공고와 이력서 인덱스 정보만을 통해, 각 정보를 실시간으로 호출하기 위해서는 사람인의 자체 검색엔진 API가 가장 빠르고 정제된 정보를 사용하기에 용이했다. 검색엔진에서는 정제된 정보를 준 실시간으로 색인하기 때문이다.
공고와 이력서, 질문생성을 위한 프롬프트 엔지니어링
검색엔진 API를 통해 각 색인된 정보를 호출하고, 해당 정보를 전후처리하여 Langchain을 통해 프롬프트 엔지니어링했다. 우선 공고 내에서 면접질문에 주요한 필드로, 요구하는 자격요건과 우대사항에 대한 사항, 주요담당업무에 대한 필드를 활용했다. 이력서의 경우에는 구직자의 스킬, 주요 경력, 대외활동 경험이나 자격증 등 주로 직무와 경험에 대한 필드를 추출하였다.
이후 필드 추출 내용을 전후처리하여 가공했고, 가공 결과 활용 여부에 따라 상황을 나누었다. 위 표와 같이 각 상황별로 프롬프트를 총 4가지로 분류하여 구성했다. 이 중, 공고 정보와 이력서 정보가 같이 존재할 경우에는 공고와 이력서 각각에 대한 질문 외에도 각 이력과 공고를 연관지어서 나갈 수 있는 질문도 구성이 되게끔 엔지니어링 했다.
결과적으로 구직자가 흐름에 따라 자기소개서를 작성하고 코칭받다보면, 위 화면 예시와 같이 자연스럽게 이력서나 공고에 대한 면접 코칭도 받을 수 있다. 기존처럼 자기소개서에 대한 코칭 외에도 채용공고 및 이력서에 대한 질문도 답변 피드백을 받을 수 있다. 두 정보가 다 존재하는 경우에는 이력서와 공고에 대한 복합적인 연계 질문도 받을 수 있게 되었다.
나가며
이번 글에서는 자기소개서 서비스 런칭 과정에서 고도화된 Ai면접 코칭에 대해 살펴봤다. 고도화 작업에서는 현재 서비스를 모니터링하며 로깅 데이터를 기반으로 보완이 필요한 부분을 파악하는 것이 우선된다. 어느 부분이 현재 부족한 부분인지 파악하면, 해결 방법도 파악할 수 있을 것이다. 이런 부분은 내재화 로직에 대한 고도화 부분을 통해 경험할 수 있었다.
이 외에 이용자에게 더 유용한 기능을 추가하는 것도 고도화의 일환이다. 이용자에서 어떤 것이 더 필요하고 임팩트가 있는지 파악하기 위해서는 서비스에 대한 경험을 파악하는 것이 주요할 것이다. 입사지원 시에 면접코칭 화면으로 연결하는 알럿을 통해, 기존 대비 2배 이상의 사용량 급증을 보이며 구직자들의 니즈를 파악할 수 있는 계기가 되었다.
추후에 이번 고도화로 확보된 공고와 이력에 대한 면접코칭을 실제 입사지원 시에 반영한다면 사용량과 재사용량, 구직자 만족도도 커질 것으로 기대하고 있다. 이번 고도화 작업을 통해 얻은 경험을 바탕으로, AI LAB의 기술력을 확보하면서 이용자의 편의를 제공할 수 있는 AI 서비스들을 꾸준히 고도화하며 만들어갈 예정이다.
