사람인 LAB 챗봇 프로젝트 Saibog, FAQ 봇
2016년 4월 샌프란시스코에서 열린 ‘F8 2016’에서 챗봇(Chatbot)이 언급된 이래로 수많은 챗봇 연구가 진행되고 있지만, 대부분의 국내 상업용 챗봇들은 목적 지향형 챗봇 형태이며 버튼, 카드형 메세지(캐러셀), 이미지 등 UI에 의존적인 챗봇 형태로 서비스되고 있다.
최근 메타버스, 아바타, 가상 인간에 대한 관심이 급격히 증가하면서 국내에서도 오픈 도메인 챗봇 연구/개발이 더욱더 관심을 받고 있다. 대표적으로 버전 2.0으로 돌아온 스캐터랩의 “나의 첫 AI 친구” 이루다, 페르소나 글로벌 챗봇을 개발하는 TUNiB , “네이버 하이퍼 클로바 기반” 챗봇, 카카오 엔터프라이즈에서 연구하고 있는 외개인아가가 있다.
따라서 챗봇은 경제·산업 뿐만 아니라 사회·교육 각 분야에서 활용되고 있으며, 한발 더 나아가 디지털 선거전에 활용하고 있다.
사람인 LAB에서도 챗봇 연구/개발 프로젝트를 지속적으로 진행하고 있으며, 해당 챗봇 프로젝트를 “Saibog 프로젝트”로 통칭하고 있다.
사람인 LAB에서 개발된 챗봇을 지속적으로 포스팅할 것이며, 그 시작으로 해당 포스팅에서는 Saibog 프로젝트 중 목적 지향형 챗봇인 “SAI FAQ Bot”에 대해서 설명하려고 한다.
SAI FAQ Bot, 고객 센터 지원 챗봇
사람인 고객센터 도움말 기능은 두 가지 경로에서 확인을 할 수 있다. 첫 번째로 고객센터 페이지 도움말의 기능을 활용할 수 있고, 두 번째로 사람인 스티키 서비스 미니 고객센터에서 확인할 수 있다. 앞서 설명한 스티키 서비스의 미니 고객센터에서 목적 지향형 챗봇 서비스인 “SAI FAQ Bot”을 적용하여 자연어로 입력된 질문을 분석한 후, 적절한 도움말 답변을 해주는 기능을 적용하였다.
조금 더 자세히 설명하면, 기존 미니 고객센터에서는 “입사지원”과 같은 단일 키워드를 활용하는 단순 검색 방식으로 고객 문의에 대한 답변을 처리했다. 현재 “SAI FAQ Bot”의 챗봇 기능을 결합하여 “입사지원 방법을 알려줄래?”와 같은 자연어 문장으로 입력된 경우도 적절한 답변을 내어줄 수 있게 되었다.
즉, 검색 방식으로 적절한 답변을 찾아주지 못할 경우 챗봇의 기능으로 후 보정하여 질문에 적합한 답변을 내어준다.
SAI FAQ Bot 대화 분석 단계
“SAI FAQ Bot”은 질문에 대한 적절한 답변을 내어주기 위해 우선, 3단계 의도 분석을 통해 입력된 사용자 질문의 의도(Intent)를 파악한다.
3단계 의도 분석은 첫 번째 단계 필수 엔티티 매칭 분석 단계(Rule based Method), 두 번째 단계 문장 유사도 분석 단계(Similarity based Method), 세 번째 단계 LSTM 기반의 의도 분석 단계(Machine Learning based Method)로 단계별 분석을 통해 매핑된 분석 방법에 따라 사용자 의도를 분석한 후 적절한 답변을 내어준다.
엔티티 매칭 분석 단계(Rule based Method)
첫 번째 단계인 엔티티 매칭 분석은 사용자가 입력한 문장에서 기 구축된 Entity 사전을 통해 Entity를 추출한 후, 특정 대화 의도의 필수 엔티티와 일치하면 해당 의도에 맞는 답변을 내어준다.
문장 유사도 분석 단계(Similarity Based Method)
두 번째 단계인 문장 유사도 분석은 사용자가 입력한 문장과 기 구축된 질문들과의 유사도를 계산하여 의도를 분석하는 방법이다. 해당 분석 방법에는 Jaro Winkler 알고리즘을 활용하여 0~1의 점수로 측정한 후, 1에 가까울수록 유사도가 높다고 판단하였다.
LSTM 기반의 의도 분류 모델
마지막 단계인 LSTM(Long Short-Term Memory) 기반의 의도 분류 모델은 해당 의도 분석 문제를 Multi-class Text Classification 문제로 생각하고 LSTM을 적용하여 사용자 의도를 분석하였다. 추가적으로 데이터 부족 문제로 인해 Data Augmentation 기법인 SR(Synonym replacement)를 적용하여 해당 문제를 해결하였다. 해당 분석 방법은 성능적, 분석 측면에는 개선이 필요하여 지속적으로 연구/개발 진행하고 있다.
사람인 LAB의 챗봇 연구/개발 방향
사람인 LAB에서는 사람인을 이용하는 고객들에게 조금 더 편의를 제공하기 위해 목적 지향형 챗봇 “SAI FAQ Bot”을 개발하여 서비스하였다.
물론, 해당 챗봇은 시나리오 처리, 멀티 대화 턴 처리, 고도화된 자연어 처리 등의 문제를 해결할 순 없지만 사람인 LAB에서는 고도화된 챗봇을 개발하기 위해 MRC(Machine Reading Comprehension) 기반의 QA 챗봇, 답변 자동 생성 챗봇 나아가 구직자 심리 상담 케어 봇 등을 개발 진행 중이다.
사람인 LAB에서는 순차적으로 연구/개발한 챗봇을 사람인 서비스에 도입하여 구직자 및 구인사에게 도움을 주고 사람인 LAB만의 HR 챗봇 기술 확보에 목표를 두고 있다.
참고
- 메타 플랫폼스의 F8 2016 진행 내용, http://www.kyeongin.com/main/view.php?key=20160413010005524
- 이루다, https://scatterlab.co.kr/
- TUNiB, http://www.tunib.ai/
- 카카오 엔터프라이즈 외개인아가, https://tech.kakaoenterprise.com/78?category=882488
- 디지털 선거전 챗봇 활용 사례, https://www.etnews.com/20211210000185?m=1
- Jaro-Winkler distance, https://en.wikipedia.org/wiki/Jaro–Winkler_distance
- LSTM, https://ko.wikipedia.org/wiki/장단기_메모리
- MRC, https://m.etnews.com/20181220000196
