[주식회사 마이나비] AWS를 통한 빅데이터 활용 지원

Classmethod Korea Co., Ltd.
Classmethod Korea Co., Ltd.
6 min readMar 30, 2022

사일로화가 진행되는 대형 정보 서비스의 데이터 활용

마이나비는 취업이나 이직, 아르바이트 등 인재 관련 사업부터, 진학, 결혼, 거주, 뉴스 등에 관한 미디어 사업까지 종합 정보 서비스 기업으로서 폭넓은 사업을 전개하고 있습니다. 유저에게 있어서 가장 친밀한 생활이나 업무 속에서, ‘당연히 존재하는’ 종합 정보 서비스를 목표로 하고 있습니다.

동사의 서비스 중에서도, 신규 졸업자 채용 전용의 취직 정보 사이트 ‘마이나비’는 일본 최대 규모의 취업 정보 사이트로서 ‘가장 많이 이용된 취업 정보 사이트’ №1, 취업 정보 사이트 엔트리 이용률 №1(※1)이라고 알려져 있습니다.

‘저희의 인재 서비스는 변화하는 시장 환경 속에서도 기업과 회원 양측이 만족할 수 있는 채용의 실현을 목표로 하고 있습니다. 그러기 위해서도 지금까지 이상으로 데이터 활용을 중시하게 되어, 수 년전부터 데이터를 전문으로 취급하는 부문을 마련했습니다. 사내 각 부문의 분석 담당자가 데이터에 근거한 의사결정을 신속히 실시할 수 있는 데이터 분석 환경을 제공하고 있습니다’ 라고 마이나비 HR시스템 사업부 과장 Shibasaki님은 말하고 있습니다.

원래 마이나비에서는 취급에 주의가 필요한 정보만 있어 안전성과 가용성을 가장 중요시했습니다. 한편, 그 때문에 사일로화가 진행되고 있던 것도 사실입니다.

한 서비스의 담당자는 서비스 사이트 개발 부서에 데이터의 집계 및 출력을 의뢰했습니다. 출력된 데이터 파일을 한층 더 현장의 유저가 Excel이나 Access등에서 가공하는 흐름이었습니다. 또 다른 서비스에서는 집계를 하는 시스템 담당자가 각 안건에 적절한 데이터베이스나 데이터 열람 툴을 신규로 작성하였습니다. 데이터 분석 환경은 있었지만, 집계 수치의 정의나 툴이 통일되어 있지 않았습니다.

‘보다 고도의 서비스를 제공하기 위해서는 안전성과 가용성을 유지하면서, “데이터의 민주화”를 실현할 필요가 있었습니다’(Shibasaki님)

※1 : 2019년 3월에 이용한 취업 정보 사이트에 대한 조사 결과로부터 / 조사 위탁처: 라쿠텐 인사이트 주식회사 (2019년 4월)

기반통합을 위해 S3로 HR영역 데이터웨어하우스 구축

마이나비에서는 데이터 인프라의 강화를 통한 매칭률과 유저 만족도의 향상을 목표로 HR 영역의 데이터 웨어 하우스(DWH)를 구축할 계획을 진행했습니다. 그 플랫폼은 소규모 운용팀에서도 충분히 대응 가능한 운용관리성과 미래의 데이터 증가에 견딜 수 있는 확장성이 뛰어난 클라우드 활용으로 결정하였습니다.

DWH에서는 개인정보 그 자체가 아닌 가공한 후의 데이터를 취급합니다. 하지만 원래 민감한 정보가 바탕이 되어 있기 때문에 DWH의 신뢰성은 매우 중요합니다. AWS는 안전성도 뛰어나 ISO 27001을 비롯한 다수의 세계적인 보안 기준을 충족합니다. 또, 비용을 억제하면서 가용성도 높게 유지하는 것이 가능합니다.

‘AWS는 널리 이용되는 서비스였지만 사내 노하우는 아직 적어 장기적으로 지식과 기술을 쌓을 필요가 있다고 생각했습니다. 그냥 맡기기만 하는 것이 아니라, 우리와 함께 생각하고 손을 움직여 주는 파트너 이면서 처음부터 가르쳐 주는 선생님이 필요하다고 생각했습니다. AWS의 전문 벤더로 마이나비의 비전에 맞는 제안을 해준 것이 클래스메소드였습니다.’ 라고 HR시스템사업부의 Inami님은 말합니다.

HR 영역의 비교적 소규모 서비스부터 DWH 구축을 시작했습니다. 그 노하우를 기본으로 다음에 사업의 핵심을 담당하는 서비스의 DWH 구축과 셀프 서비스 BI 툴을 조합한 데이터 분석 환경을 구축했습니다. 운용 개시부터 몇 년이 지나 사내 요구가 계속 증가해 보다 좋은 서비스를 제공하기 위해 DWH 기반의 스피디한 개발이 더욱 더 필요하게 되었습니다.

CS애널리틱스로 데이터 분석 기반의 효율화를 도모

처음에는 Redshift로 모든 데이터를 조달할 생각이었습니다. 그러나 사내의 요구가 예상보다 많아 고비용이 되는 것을 알게 되었습니다. 그래서 S3를 핵심으로 Athena와 Redshift Spectrum을 조합해서 분석 툴을 활용하고 있습니다.

‘S3는 저렴한 비용으로 부담 없이 데이터를 축적할 수 있는 편리한 데이터 레이크라고 생각합니다. 견고성이 높고, 보안에도 만전을 기하고, 소규모의 조직에서도 충분히 운용 가능하다는 장점이 크네요. 필요에 따라서 Athena나 Redshift Spectrum를 구분해 RAW데이터도 보관하고 있습니다’ (Inami님)

첫 번째 DWH는 거의 스크래치로 구성했습니다. 그러나 내제에 시간이 걸리는 점과 관리가 번거로워지기 쉽다는 점, 결과적으로 다양한 요구에 응하기 어렵다는 점이 우려로 남았습니다. 거기서 마이나비는 보다 규모가 큰 서비스에 데이터 활용을 펼칠 때, 효율성을 중시해 클래스메소드의 데이터 통합 기반 서비스인 ‘고객 스토리 애널리틱스(CS애널리틱스)’를 채용했습니다.

CS애널리틱스는 전체상을 이해하기 쉽고 취급이 용이합니다. 개발의 효율이 향상되기 때문에, 현장의 분석 요구에 대해 시기적절하게 대응하는 지원이 가능합니다.

고민하고 있는 시간이 아까워 클래스메소드에게 배운다

Shibasaki님, Inami님 모두 CS애널리틱스를 포함한 클래스메소드의 서포트에 ‘만족하고 있다’고 말합니다.

‘클래스메소드의 서포트는 정중하고 세세하며 언제라도 응답이 빨라, 언제 누구라도 대답을 가지고 있다고 생각합니다. 어느새 상담하지 않고 고민하는 시간이 아깝다는 것을 깨달았습니다’(Inami님)

‘애매한 질문이라도 잘 이해해 주고 우리의 요청이나 고민에 대해 항상 긍정적이고 함께 고민해 주시는 것도 인상적입니다. 작업 등의 누락도 잘 잡아내시고, 이야기하기 쉽고, 의지하게 됩니다’(Shibasaki님)

클래스메소드에서는 고객과의 커뮤니케이션에 화상회의나 비즈니스 채팅을 적극적으로 활용해, 커뮤니케이션을 하기 쉬운 환경을 정돈하고 있습니다. 언제든지 물어볼수 있고 의사소통이 쉽고 빠르게 움직이는 모습이 높은 평가로 이어진 것 같습니다.

심화 데이터 활용을 목표로 파트너십을 강화

마이나비에서는 AWS를 이용한 데이터 활용 프로젝트의 첫 단계로 주요 인재 서비스의 정보를 받아들이는 기반을 구축했습니다. 향후에는 입력하는 데이터의 종류를 늘리고, 빅데이터를 활용하는 부문을 늘려 갈 예정입니다.

‘앞으로의 과제는 당사가 가진 광범위하고 방대한 데이터를 AWS를 통해 어떻게 활용하느냐입니다. 이 과제를 클리어 하기 위해, 함께 노하우를 축적해 나갈 필요성을 느끼고 있습니다’ (Shibasaki님)

클래스메소드코리아에 문의사항이 있으신 분들은

​info@classmethod.kr 로 연락 주시면 빠른 시일 내 담당자가 회신 드릴 수 있도록 하겠습니다 !

--

--