Ai 면접 코칭 : 자기소개서 기반 개인화 면접 코칭 서비스
OpenAI의 ChatGPT 등장 이래로 다양한 플랫폼에서 이를 활용한 AI 서비스들을 내놓고 있다. 사람인 내부에서도 이에 대해서 다양한 고민과 실험을 통해, 이제 하나 둘 서비스로 내놓고자 하고 있다.
이번에 이야기하고자 하는 서비스는 GPT 3.5 기반의 “Ai 면접 코칭”이다. 구직자의 자기소개서를 기반으로 면접에서 받을 수 있는 질문을 예상해서 생성해주고, 이에 구직자의 답변까지 분석해서 피드백해주는 형식의 코칭 서비스이다.
ChatGPT 만을 활용한 단순한 서비스가 아닌, 지난 22년 1월 런칭한 “Ai 자소서 코칭”와 같은 사람인이 보유하고 있는 자기소개서 분석 노하우를 녹인 서비스를 만들고자 했다. 지금부터 해당 서비스의 개발기를 소개하고자 한다.
이미 보유하고 있던 면접질문생성 서비스
사실 사람인은 22년 3월에 이미 자기소개서를 기반으로 개인화 면접질문을 생성하는 기술을 보유하고 있었다. 해당 기술이 크게 드러나지 않은 것은 해당 서비스는 컨설팅사업 내 구인사향으로 제공되고 있었기 때문이다.
해당 기술은 사람인이 보유한 NLP 기술을 활용하여 자기소개서를 문장 단위로 나누어 그에 적합한 자기소개서 질문을 생성하는 기술이다. 처음에는 4종이었으나 지난 10월에 구축된 직무 관계 사전을 추가로 활용하여 아래 5종의 기술을 바탕으로 한다.
- 약/강점질문 : Deep-Learning을 활용한 자기소개서 주제 분석 및 근거 문장 추출 모델
- 꼬리질문 : 구문 분석을 통한 동작성 명사구 분석
- 역량질문 : 직무 핵심 키워드 분석
- 클러스터질문 : 문장 수준 벡터 분석을 통한 비지도 Clustering
- 응용질문 : 직무 관계 정보 분석
해당 분석들은 모두 문장 수준의 분석을 바탕으로 하고 있다. 단순히 질문을 생성하는 것만이 아니라, 자기소개서 내 어떤 문장과 표현을 근거로 해당 질문이 생성되었는지를 하이라이팅하여 보여줄 수 있도록 하였다. 이렇게 개발한 이유는 이용 시에 모델의 설득력을 높이기 위함이다.
이번 서비스에서는 기 개발된 해당 기술을 구직자향으로 전환하면서 일부 로직과 질문 구성을 수정하여 제공하기로 하였다.
프롬프트 엔지니어링을 통한 ChatGPT 활용
ChatGPT, DALL·E, Midjourney 등 LLM 열풍이 불면서 이를 활용한 서비스가 많이 나타나고 있다. 소식을 좀 접해본 사람이라면 전공자가 아니더라도 이런 모델들을 다루는 데에 “프롬프트”가 중요하다는 사실을 인지하고 있을 것이다. 어떤 명령과 파라미터를 제공하느냐에 따라서 제공 받는 답변의 톤, 페르소나, 전문성 등이 크게 달라진다. 또한 ChatGPT는 유료 API인 만큼 사용량이 많을 때는 경제적으로 사용할 수 있도록 튜닝을 하는 부분도 필요하다. 기업 입장에서는 비효율적으로 사용하게 되면 천문학적인 비용이 발생할 수도 있기 때문이다.
우선 프롬프트 엔지니어링에 사용할 데이터를 대상 데이터 확보하기 위해, ChatGPT를 통해 임의로 설정한 경력 정보 셋을 구성해 다양한 자기소개서 데이터를 생성했다. ChatGPT 등장 이래로 데이터 증강 작업을 손쉽게 할 수 있게 되었다. 상술한 질문 생성 기술에서도 면접질문 DB에 매핑하는 형식의 방법들이 포함되어 있는데, 해당 DB를 확장하는 일에도 ChatGPT를 활용하고 검수하였다.
섬세하면서 경제적인 프롬프트를 만들어내기 위해 굉장히 많은 차례의 실험을 거쳐야 했다. 친절한 톤의 면접관 페르소나를 설정하고, 윤리적으로 유해한 내용은 필터링하면서 좀 더 전문적인 개방형 질문과 구체적인 피드백을 할 수 있는 방향으로 조정했다.
그리고 ChatGPT를 기반으로 질문을 생성할 때 근거 문장을 하이라이팅할 수 있도록 자기소개서 내의 핵심문장을 추출하는 자체 NLU 기술을 활용하여 프롬프트를 엔지니어링했다. 동시에 문장 수준의 분석만으로는 전체 맥락을 놓칠 수도 있기 때문에 하이라이팅 없이 전반 자소서 맥락에 대한 질문 생성도 가능하게끔 자소서 일부를 통한 질문구성도 해두었다. 이용자는 핵심 문장을 기준한 질문생성이 우선이지만, 가끔씩은 전체 자소서에 대한 질문도 받을 수 있다.
이와 같이 이번 서비스의 프롬프트 엔지니어링은 품질을 우선하면서도 경제적이고 설득력을 가질 수 있도록 구성해 보았다. 구직자가 자신의 자소서 중 어떤 표현을 기반으로 어떤 질문이 나올 수 있는지 알면 면접 준비를 더욱 확실히 할 수 있을 것이라 판단했기 때문이다. 사람인이 오랜 기간 자기소개서를 분석하면서 보유한 NLP 기술 노하우를 접목한 결과라고 할 수 있겠다.
마치며 : 사람인스럽게 ChatGPT를 활용하기
이러한 과정들을 통해 사람인의 ChatGPT 활용 서비스, “Ai 면접 코칭”이 만들어졌다. 이번 프로젝트의 목적 중 하나는 ChatGPT를 사용하되, “사람인” 안에서 사용하는 것이 가치있게 만들고자 함이었다.
이를 위해 로그인 기반의 서비스로 변경하여, 자신이 갖고 있는 이력서에서 자기소개서를 불러와 바로 분석할 수 있게끔 했다. 이미 작성한 자기소개서를 기반으로 어떤 질문이 나올지 예측해보고 그에 맞는 답변을 준비하는 것이 좀 더 사람인스럽다고 생각했기 때문이다.
동시에 질문이 나온 근거 문장을 하이라이팅하여 자신이 작성한 자기소개서가 어떤 관점으로 보이는지를 유추할 수도 있고, 피하고 싶은 질문이 있다면 자기소개서의 해당 표현을 수정할 수도 있게끔 하였다. 질문에 대한 답변 역시 피드백을 통해 좀 더 좋은 표현으로 가다듬으며 연습할 수 있도록 구성해 보았다.
가급적이면 앞으로의 서비스도 사람인이 보유한 HR 시장의 도메인 데이터 분석 노하우를 적극 활용할 것이다. 이용자의 관점에서 좀 더 유용하게 쓰일 수 있는 사용성 있는 ‘사람인스러운’ AI 기술을 만들고 런칭해 볼 계획이다.
