RecSys Challenge 2023
국내 1위 코르카 팀의 대회부터 학회까지의 여정 (2/2)
Written by: 이태호(Tech Lead), 김태희(ML Lead), 백승윤(ML Engineer), 김준홍(ML Engineer), 전태현(ML Engineer), 김선영(HR Manager)
지난 글에 이어 RecSys 학회에서는 어떤 일이 있었는지 이야기 해보겠습니다.
태호) RecSys 학회에 참여했는데 어떻게 가게 되었나요?
- 태희) 챌린지 참여를 하면 참가자들에게 솔루션을 논문 형태로 받아 Challenge 워크샵에서 발표를 하게 됩니다. 보통 6–10개 정도의 논문이 채택되는데 이번에 대회 등수도 괜찮았고 저희의 아이디어도 참신하다고 생각되어 논문을 냈고 억셉이 되었습니다. 감사하게도 회사에서 대회 및 논문에 참여한 모든 팀원분들을 지원해 주셔서 다함께 싱가포르에 다녀왔습니다.
- 승윤) 논문이 억셉된 회사를 보면 1, 2, 3등 이후로 4, 5, 6등이 없었어요. 우리는 7등임에도 불구하고 노벨티를 인정받아 억셉이 됐어요!
선영) RecSys 학회의 전반적인 분위기가 궁금해요.
- 태희) 체감상 6~70% 는 회사 소속이었던 거 같아요. 추천시스템 분야 특성상 산업에서의 수요 및 연구가 정말 활발하다고 느꼈고, 다른 머신러닝 분야와 다르게 리서치만 하는 것이 아니라 실제 서비스에서 어떻게 적용하는지에 대한 논의가 많아서 사람과 더 많이 맞닿아 있는 분야라고 느꼈어요.
- 준홍) 처음 보는 사람들에게 쉽게 다가가고 자유롭게 이야기 나눌 수 있는 분위기라 신선했어요.
선영) 새로운 사람과 나누었던 이야기 중에 기억에 남는 것이 있나요?
- 태희) 저는 발표 끝나고 이후에 저를 찾아와서 대화를 걸어주신 분들이 있어서 그 때 너무 감사하고 뿌듯했던 것 같아요. RecSys Challenge 문제에 대해 같이 고민한 다른 사람들의 비하인드를 많이 들을 수 있어서 재미있었습니다.
- 태호) 코르카에서 추천을 하면서 on/offline 성능 차이를 좁히는 것에 어려움을 겪을 때가 많은데 비슷한 문제를 겪고 있는 다른 연구자분들과 이런 고민들을 같이 이야기 나누었던 것이 기억에 남습니다.
태호) 이제 본격적인 학회 이야기를 해볼 거예요. 아무래도 첫 번째로 얘기해볼 주제는 우리의 발표겠죠. RecSys Challenge 대회 솔루션은 챌린지 워크샵에서 발표를 했는데 이 곳에서 정말 멋지게 발표해주셨던 태희 님과 다른 분들의 소감이 궁금합니다!
- 태희) 너무 긴장을 많이 해서 발표 자체는 기억이 잘 안 나는데 발표 후의 질의응답이 기억에 많이 남아요. 다들 재미있게 들어주시고 저희가 한 고민들을 똑같이 했던 사람들이라 그런지 질문들도 어려움을 겪었던 순간들에 대해서 물어봐 주셔서 좋았어요.
- 승윤) 우리 발표 전까지는 질문이 하나도 없었는데 태희 님의 발표가 끝나고 많은 질문을 해주셔서 다들 재미있게 우리 발표를 경청해 주셨구나 싶어서 기분이 좋았어요.
- 태호) 이 순간이 지금도 생생하게 기억에 남아요. 우리가 3–4달 동안 열심히 했던 것을 세계적으로 인정받는 학회에서 발표할 수 있다는 것이 벅찼던 거 같아요. 그리고 우리 발표를 맡아주신 태희 님이 유창한 영어로 우리의 솔루션을 설명해 주니 멋있었어요. 마지막으로 태희 님이 발표 시작할 때 팀원 이름 전부를 불러주면서 샤라웃해줬는데 괜히 감동이었달까요…ㅎㅎ
- 태현) 저는 Layer6AI 팀이랑 Intel 팀의 발표가 기억에 남아요. Layer6AI 팀은 저희가 생각지도 못한 방식으로 문제를 풀어서 신선했고, Intel 팀은 저희 팀이 한 데이터 분석 및 엔지니어링과 방향이 비슷했지만 모델에 녹여낸 방법이 저희보다 더 효과적이었던 것 같아 재미있게 들었습니다.
선영) 학회에서 챌린지 워크샵 외에 기억 남는 것들이 있었나요?
- 태희) Video RecSys라고 새로 생긴 워크샵이 있었는데 거기에서 앞으로 추천시스템 시장을 얘기해서 굉장히 재밌게 들었던 거 같아요. 추천시스템을 오래 했던 회사들도 계속해서 새로운 문제를 재정의 하는 모습들을 보면서 동기부여가 많이 되었습니다.
- 승윤) 논문 저자들이 포스터 앞에 서서 자기의 논문을 설명해 주신 포스터 세션이 인상 깊었어요. 수동적으로 발표를 듣기만 하는 것이 아니라 직접 1:1로 대화할 수 있는 기회가 있어서 좋은 경험이었어요.
- 태호) 저도 방금 하신 말씀에 너무 공감해요. 우리가 살면서 넷플릭스, 메타, 구글 연구자들이랑 이야기해볼 수 있는 기회가 쉽지 않잖아요? 학회에는 그런 분들과 한 공간에 있고 지나가며 대화를 해보면 지난 1–20년 간의 경험들을 들을 수 있어서 인사이트를 많이 얻었어요.
태호) 학회에서 기술적으로는 어떤 것을 배우셨나요?
- 준홍) RecSys에도 LLM이 굉장히 많길래 추천시스템에서는 LLM을 어떻게 쓰는지 기대를 많이 했는데 생각보다 특별하진 않아서 좀 아쉬움이 있었던 거 같아요. 다들 시도를 정말 많이 하고 있지만 아직 독보적인 무언가는 나오지 않았다 생각했어요. 그 외에는 구글이나 메타도 다 우리랑 비슷한 고민을 하고 있어서 우리도 그런 고민이 들 때 좌절하지 말고 문제를 풀어내면 되겠다 싶었어요.
- 승윤) LLM 서비스를 개발하고자 했는데 우리가 현재 겪고 있는 이슈들에 대한 해결책을 기대하고 갔는데 생각보다 그런 걸 얻지 못했어요. 우리가 생각보다 앞서서 리서치하고 있구나를 느꼈던 거 같아요. 저는 챌린지 워크샵에서 다른 팀들의 발표를 들으면서 굉장히 이 추천시스템 분야는 사람의 노력이 많이 필요하다라는 생각을 했어요. 사람이 굉장히 involve해야 되는 분야구나! LLM은 트랜스포머 레이어만 쌓으면 모델이 학습하지만 추천시스템은 여전히 사람의 손길이 많이 필요함을 느꼈어요. 우리가 그 부분을 잘한다는 점에서 LLM이 급부상해도 우리가 그 거인의 어깨 위에 잘 올라갈 수 있겠구나라고 생각했어요.
- 태현) 저 같은 경우에는 A/B 테스트 구축과 관련한 세션이 가장 기억에 남았어요. 이번 학회에서의 제 키워드를 뽑자면 LLM, 추천시스템, 실험 플랫폼일 것 같은데 어떻게 하면 실험을 더 체계적이게 할 수 있을지 아이디어 및 인사이트를 많이 얻을 수 있었습니다.
- 태호) 다들 공감하실텐데 문제 정의의 중요성을 뼈저리게 느꼈어요. 얼마나 임팩트 있는 문제를 설정을 했고 그걸 풀어 나가는 게 중요하다는 걸 더욱 느꼈어요. 그걸 가장 많이 느낄 수 있었던 건 넷플릭스 발표였어요. 왜 넷플릭스가 유명하고 잘 되는지 알 수 있었고 본인들이 잘 하는것과 못하는 것, 앞으로 풀어야 하는 문제를 너무 잘 알고 있더라고요. 코르카에서도 이런 메타인지를 더욱 잘해야 할 것 같아요.
- 태희) 머신러닝을 하는 사람으로서 추천 모델 부분을 중점으로 보고 있었는데 학회에서 다른 회사들의 사례들을 보면서 데이터 흐름, 온라인 실험 등 하나의 시스템으로 운영되어야 하는 것의 중요성을 많이 깨달았어요.
태호) 학회 이후에 코르카의 제일 큰 변화는 무엇이라고 생각하세요?
- 태희) 추천‘시스템’의 필요성을 많이 느꼈다고 말했는데 코르카에서는 이제까지 ML 엔지니어들끼리 내부적으로 공유하고 있던 문제들을 지금은 백엔드 엔지니어 분들과 함께 ‘추천 팀’으로 공유를 하려고 하거든요. 그런 점이 큰 변화이지 않을까 생각해요.
- 승윤) 사실 그리고 저 스스로는 문제를 풀면서 우리가 정말 제대로 풀고 있나 이런 고민을 굉장히 많이 했어요. 그런데 렉시스 학회에서 정말 큰 기업들도 우리랑 같은 문제를 겪고 있구나를 알게 되어서 우리가 더 자신감을 가지고 차근차근 정진해나가면 되겠다 싶었어요.
- 태현) 저도 두 분 말에 적극 공감을 해요. 포스터를 보면서 내가 전혀 생각하지 못한 접근 방식이 있다는 걸 정말 많이 배웠어요. 기존에 유저 데이터를 사용할 때 어떻게 사용해야 될까라는 고민을 많이 했었는데 이번 학회에서 배운 것들을 토대로 유저의 행동을 더 깊게 이해할 수 있게 된 거 같아요.
- 준홍) 이렇게 성과를 내니까 회사에서 이를 인정해 주셔서 해외로 학회도 보내 주시고 이를 팀원 모두가 부러워했던 것 같아요. 못 가신 분들도 이런 대회나 컨퍼런스 같은 외부활동에 대한 관심이 많아졌고 팀원들에게 촉진제 역할이 된 것 같아서 좋습니다.
- 태호) 저는 자신감과 사고방식이 많이 바뀐 거 같아요. 우리가 잘하고 있다는 확신, 우린 해낼 수 있다는 확신을 갖게 된 계기가 되었고 훌륭한 추천시스템 전문가들의 사고방식을 배우면서 아 이 땐 이렇게 생각해야 하는구나, 이런 상황에선 이런 고민을 해야 하는구나 등을 알게 되었어요.
태호) 우리가 이 학회로 싱가포르로 약 8일 정도 출장을 갔어요. 그 기간 동안 싱가포르에서의 생활은 어떠셨나요?
- 태희) 대회 참여하기로 한 사람들끼리 모인 첫 회의에서 저에게 목표를 물었을 때 제가 학회 장소인 싱가포르라고 답했던 기억이 나요. 그래서 진짜 싱가포르에 간다는 자체가 너무 신나고 신기했고 우리 가이드 승윤 님이 있어서 싱가포르를 더 잘 즐길 수 있었어요. 너무 잘 다녀왔습니다.
- 승윤) TMI지만 올해 초에 싱가포르로 교환학생을 다녀왔거든요. 사실상 제 2의 고향이기도 해요(웃음) 사실 싱가포르에 다시 간다는 게 가슴이 벅찼고 팀원분들에게 싱가포르에서 좋은 경험을 안겨주고 싶었어요. 그래서 투어 가이드를 자청해서 했어요. 추억도 새록새록 떠오르고 너무 더웠지만 다 같이 갈 수 있었다는 게 의미 있고 좋았어요.
- 준홍) 거기 가자마자 F1 경기가 있었어요. 저는 뭔지도 잘 모르는데 지금이 아니면 못 볼 거 같다는 생각에 태호 님과 둘이 티켓을 끊었어요. F1 경기를 너무 재밌게 봐서 기억에 남고 음식도 송파바쿠테라는 식당이 정말 맛있었어요(웃음) 회사에서 지원해 주셔서 감사히 잘 다녀왔습니다.
- 태현) 숙소 F1기간 때문에 싱가포르 물가가 비싼 편이라 좋은 숙소를 저렴하게 이용하는 게 쉽지는 않았는데 학회를 간다고 하니 회사에서 숙식비를 지원해 주셔서 좋은 호텔에서 묵을 수 있었고 이 때문에 싱가포르 기억이 더 좋게 남아있어요.
- 태호) 숙소 얘기하니까 매일 저녁에 숙소에서 학회 이후에 리캡했던 게 생각이 나요. 8시간, 9시간 듣고만 있다가 수다를 또 떨어야 한다는 게 힘들었는데 수다를 떨기 시작하면 1~2시간 시간 가는 줄도 모르고 재미있게 떠들었던 게 기억이 나요. 코르카의 미래, 추천시스템의 미래와 같은 이야기들 너무 재밌었습니다!
- 준홍) 학회 끝나고 놀려고 했는데 생각보다 엄청 피곤했었어요.
- 태희) 그만큼 학구열이 넘치는 사람들이었던 거 같아요. (웃음)
선영) 이제 이 회고를 마무리해볼 건데 이 글을 읽을 독자들에게 마지막 한마디 해주세요!
태호) 코르카 ML 파트는 트래픽이 많은 프로덕션에서 다양한 연구 및 개발을 통해 성능을 내고 있고 그런 경험들을 기반으로 이번에 수상과 논문 실적도 냈어요. 현재는 추천시스템이나 LLM 등에서 다양한 문제들을 정의하고 팀으로써 재미있게 풀어가고 있습니다. 우리 팀이 나아갈 행보를 앞으로도 계속 지켜봐 주시고 응원해 주세요! 이 여정에 함께 하고 싶으신 분이 있다면 언제든지 환영입니다 :)
우리가 살아가는 세상을 AI 기술로 변화시키는 팀 Corca는 고도화된 기술력과 기획력을 토대로 새로운 가치를 창출하고 있습니다.
Corca의 여정에 함께하실 분들은 corca.team 페이지를 확인해주세요!
