[클레온 인터뷰] 딥러닝 엔지니어는 무슨 일을 할까?

Yeji Kang
KLleon
Published in
6 min readDec 20, 2022

딥러닝 엔지니어 승근님 Interview

PART 1. 직무 소개

Q1. 자기소개 부탁드립니다!

​안녕하세요, 클레온에서 기술팀 리드를 맡고 있는 백승근입니다.

Q2. 현재 어떤 직무를 맡고 계신가요?

​기술팀은 저를 포함하여, 딥러닝 엔지니어들로 구성되어 있어요. 딥러닝 연구원들이 각각의 모듈에 사용되는 딥러닝 모델을 학습해서 내놓으면,

기술팀의 딥러닝 엔지니어들은 이를 파이프라인에 연동하여 변환 결과물이 효과적으로 제작되도록 하죠. 개발팀에서는 이를 사용해 카멜로와 같은 다양한 서비스를 개발하고 있습니다.

​딥러닝 모델을 원하는 방식으로 사용할 수 있도록 제공하려면, 다양한 기술적 이슈를 고려해야 해요. 딥러닝 작업자의 효율적인 구현과 운영을 끊임없이 고민해야 하며,

개발 중인 제품과 소통할 API 설계 등도 필요해요. 클레온이 미디어를 다루는 기업인 만큼, 미디어 처리와 관련된 이슈도 많답니다.

기술팀에서는 이러한 이슈들을 해결하고 관련된 시스템에서 문제가 발생하면 기술 지원을 제공하고 있어요.

▶ 승근님이 설계한 딥러닝 작업 처리 시스템을 통해 만들어진 얼굴 변환 결과물.

5가지 이상의 딥러닝 모듈과 다양한 전후처리 로직이 유기적으로 동작하여 만들어 내는 결과물로 정면 사진 한 장이면 영상과 이미지 속 인물의 얼굴을 실시간으로 바꿀 수 있다.

​기술팀 내에서 저는 메인 작업에 더하여 각종 시스템 구조 설계를 하고 있어요. 입사 후 지금까지는 딥러닝 서비스 제공의 핵심 기능인 딥러닝 작업 처리 시스템,

딥러닝 작업자 구조, 미디어 처리 시스템 등을 설계하고 구현했어요. 현재는 음란물 처리 시스템, 학습 데이터 관리 시스템 등을 설계하고 있습니다.

Q3. 하루 업무 일과가 어떤가요?

​출근하면 딥러닝 작업에 새로 식별된 버그는 없었는지 확인하고 처리해요. 연동할 모델이 있다면 코드와 파일을 받아서 확인하며,

모델과 전/후처리 로직을 실제 작업 플로우에 맞게 연동해요. 테스트를 진행하고 배포한 뒤 개발팀에 새로운 모델을 사용할 수 있다고 전달하고 있어요.

기본적인 루틴 외에도 도전적인 업무들도 처리해야 해요. 예를 들어 지금까지 파일 형식으로 결과물을 제공했다면 이제는 스트리밍 형식으로도 제공하는 것과 같이,

아직 우리 회사에서 도입하지 않은 새로운 기술을 사용해서 해결해야 하는 과제들이 끊임없이 나오고 있어요.

쌓여있는 요청을 해결하고 나면 이러한 새로운 기술에 차근차근 익숙해지고 실제로 도입 작업을 하는 시간을 가져요.

Q4. 해당 직무를 꿈꾸게 된 계기가 있나요?

​대학원에서 연구만 할 때에는, ‘기술이 실제 IT 서비스에 잘 사용될 수 있을까’, ‘실질적으로 도움이 되는 기술을 개발하려면 어떻게 해야 할까’ 같은 생각이 많이 들었어요.

그러한 측면에서, 여러 분야 중 딥러닝이 아직 연구될 부분도 더 많고 앞으로 실제 현장에 적용되었을 때 가치가 높을 것이라고 생각해서 자연스레 딥러닝 관련 기업으로 가고 싶었어요.

딥러닝 모델의 학습도 중요하지만 특히 딥러닝 모델을 이용해 서비스가 어떻게 만들어지고 운영되는지에 관심이 많았어요.

Q5. 해당 직무의 매력은 무엇이고 직무의 전문가가 되기 위해 가장 필요한 자질은 무엇인가요?

​기술팀은 회사가 풀고자 하는 문제를 해결하기 위해 끊임없이 새로운 기술을 항상 탐색하고 받아들이면서, 그 과정에서 자신도 발전해 간다는 점이 가장 큰 매력 같아요.

그러기 위해서는 기술 트렌드를 파악하고 새로운 기술을 도입할 준비가 되어있어야 해요.

기술팀은 연구자가 제공해 주는 딥러닝 코드를 읽어 연동하는 작업을 하기 때문에 새로운 코드에 빠르게 익숙해질 수 있는 능력이 필요해요.

연동 과정에서 발생하는 다양한 버그의 원인을 빠르게 파악하고 해결하기 위한 논리적 사고능력도 필요하죠. 뿐만 아니라 딥러닝, 서버 관리, 미디어 처리와 같은 다양한 IT 도메인에 대한 이해가 필요합니다.

PART 2. 클레온에서 배우고 이룰 수 있었던 것

Q1. 클레온에는 어떻게 입사하게 되셨나요?

​클레온에는 2020년 7월 말에 입사했어요. 석사 졸업한 다음 뭘 하나 고민할 때, 알고 지내던 클레온 CRO가 이런 회사를 운영하고 있으니 같이 일해보자고 제안을 했어요.

당시 딥러닝 보안에 관심을 가지고 있었는데, 얼굴 데이터를 활용하여 얼굴을 합성하고 생성하는 모델을 만든다는 이야기를 듣고는 저한테 적합한 회사라고 생각해 입사했죠.

회사의 비전이나 사업 아이템 등을 봤을 때 발전 가능성도 매우 높아 보였구요.

Q2. 클레온에서 어떤걸 배우셨나요?

​클라우드 서버 운영, 이미지 및 동영상 처리 등 딥러닝 모델로부터 실제로 서비스를 만들어내기 위해 배우고 적용하였던 기술 하나하나가 모두 중요했던 것 같아요.

한 쪽으로는 딥러닝 연구 현장을, 다른 쪽으로는 개발 현장을, 또 다른 편에서는 (직접 협업하지는 않지만) 서비스 타겟 유저의 감성에 맞는 기획, 디자인, 마케팅이 이루어지는 것을 보면서

서비스의 성공을 위해서는 많은 요소가 필요하다는 것을 느꼈죠. IT 서비스를 넓은 시야로 바라볼 수 있게 된 것 같아요.

Q3. 클레온에서 꿈을 펼치셨나요?

​꿈을 펼쳤다기보다는 꿈이 확장되었다고 보는 게 적절할 것 같아요. 입사 전 딥러닝 보안을 research interest로 두고 있던 저의 입장에서는 안전한 딥러닝 모델 혹은 학습 시스템을 만드는 것이 꿈이었는데,

딥러닝 시스템을 이용하는 과정을 보고 새로운 기술들을 직접 도입하면서 시스템을 더 효율적으로 제공하는 측면도 고려해 보고 싶어요.

Q4. 클레온에서 가장 기억에 남는 일은 무엇인가요?

​개발 중인 카멜로 앱에서 얼굴 변환이 제대로 동작하는 것을 처음 확인한 때가 기억에 남습니다.

제가 서비스화 시킨 모델이 실제로 활용되는 것을 처음으로 보는 경험이었거든요. 연구와 사업화 사이의 다리를 잘 놓고 있다는 생각에 뿌듯했어요.

▶ 영상 속 인물의 얼굴과 목소리를 클릭 한 번으로 바꾸며 소통할 수 있는 어플 ‘카멜로(KAMELO)’.

승근님이 구현한 딥러닝 작업 처리 시스템이 카멜로의 핵심 기능인 얼굴변환과 입 모양 변환의 처리를 맡고 있다.

Q5. 앞으로 클레온에서의 목표가 무엇인가요?

회사에 도움이 되는 더 많은 기술을 찾아 도입하여 저도 배우고 회사의 발전에도 기여하고 싶어요.

또한 나중에는 딥러닝 모델의 보안이나 최적화 관련된 부분에서 연구를 하면서 새로운 기술을 만들어 보고 싶기도 합니다.

--

--