디지털 휴먼 크리에이터 하연님 interview
PART 1. 직무 소개
Q. 디지털 휴먼 크리에이터는 어떤 일을 하나요?
A. 디지털 휴먼을 제작할 때 적용되는 기술은 여러 가지가 있는데요. 클레온에서는 디지털 휴먼의 바디모델을 따로 촬영하고, 가상 얼굴과 목소리를 생성해 바디모델에 적용하는 방식을 사용하고 있습니다. VFX 회사나 게임회사에서 3D 모델링으로 아예 새로운 사람을 만들어내는 것과는 다른 방식이죠.
같은 바디모델에 다른 가상 얼굴들을 적용한 예시
저는 디지털 휴먼의 페르소나와 그에 맞는 외형 설정, 바디모델 섭외 및 촬영, 가상 얼굴 제작 및 적용 등 전반적인 크리에이팅 과정을 담당하고 있습니다.
Q. 디지털 휴먼 크리에이터라는 직무는 어떻게 시작된 건가요?
A. 작년 이맘때쯤, ‘클레온의 기술을 활용한 콘텐츠를 만들어보자’라고 생각해 ‘우주’라는 남성 디지털 휴먼을 처음으로 제작했어요. 우주가 한 남자 아이돌 그룹 멤버와 닮았다는 기사가 떠서 큰 주목을 받았고, 그 이후 우주의 여동생으로 제작한 은하는 ‘국내 최초 수능을 보는 디지털 휴먼’으로 인기를 끌었어요.
당시 우주와 은하를 본 고객사들로부터 디지털 휴먼 제작 의뢰 문의가 많아지기도 했고, 현재는 ‘클론’이라는 이름으로 런칭된 디지털 휴먼 솔루션을 회사 내부적으로 준비하던 시기라 디지털 휴먼의 제작을 전담할 사람이 필요했어요. 자연스럽게 관련 업무를 담당하고 있던 제가 클레온 1호 디지털 휴먼 크리에이터를 맡게 됐죠.
Q. 구체적인 작업 과정은 어떻게 되나요?
A. 디지털 휴먼을 만들 때 가장 먼저 해야 하는 작업은 페르소나를 설정하는 거예요. 어떤 성격인지에 따라 그 사람의 외형도 달라지기 때문인데요. 클레온 자체 디지털 휴먼을 제작하는 경우에는 내부 회의를 거치고, 고객사에서 의뢰를 받아 제작하는 경우에는 고객사와 상의해 어떤 목적으로 디지털 휴먼을 만드는지, 반영되어야 하는 아이덴티티가 어떤 것인지 정해요.
페르소나가 정해지면 그 페르소나에 맞는 외형을 설정해요. 인종, 얼굴, 체형, 머리 스타일, 패션 등 눈에 보이는 모든 부분이 포함되죠.
외형 설정이 끝나면 인종, 체형이 맞는 바디모델을 섭외하고 머리 스타일, 패션 등 스타일링까지 해서 촬영을 해요. 이후에는 가상 얼굴을 제작해 촬영된 바디모델 영상에 적용해 보고, 계속해서 세부 사항을 수정해나가며 페르소나에 맞는 디지털 휴먼이 완성되도록 해요.
Q. 디지털 휴먼을 만들 때 가장 고려해야 할 점이 있나요?
A. 무엇보다 사전에 설정한 페르소나, 아이덴티티가 잘 반영되었는지가 가장 중요해요. 외형은 보는 사람에 따라 감상이 다른 주관적인 영역이긴 하지만 보는 사람의 대다수가 같은 페르소나, 아이덴티티를 느낄 수 있도록 세부 사항을 계속해서 수정하고 비교해 봐야 해요.
그리고 그다음으로 중요한 것은 디지털 휴먼의 모습이 모난 부분이 없이 자연스러운지가 중요하죠. 얼굴 움직임이 어색하다든지, 바디모델과 얼굴의 합이 안 맞는다든지 전체적인 균형이 잘 맞지 않으면, 자세한 생김새를 보기도 전에 부정적인 느낌을 받게 되니까요.
Q. 현재 진행 중인 프로젝트는 어떤 건가요?
A. 클레온에서 보험설계사분들이 디지털 휴먼 영상을 제작해 고객에게 보낼 수 있는 모바일 서비스를 준비 중인데, 해당 서비스에 들어가는 디지털 휴먼 밑 작업을 하고 있어요.
명절, 생일 등 이벤트가 있을 때마다 보험설계사분들이 문자로 안부를 전하기도 하고, 또 새로운 상품이 나왔을 때도 문자나 전화로 제안하시곤 하시잖아요. 전화나 텍스트로 된 문자보다는 담당 보험설계사가 등장하는 영상을 활용함으로써 고객들에게 특별한 경험을 제공하고 관심을 높이는 거죠.
누구나 간단히 자신의 사진 한 장을 활용해 ‘호감형’ 디지털 휴먼을 만들 수 있도록 하기 위해서, 사람들이 컴플렉스 또는 단점이라고 느끼는 얼굴 특징들이 자동적으로 보완되도록 하는 작업을 하고 있어요.
Q. 가장 기억에 남는 디지털 휴먼 프로젝트가 있다면?
중국 인플루언서 제작 예시. 왼쪽이 원본 사진이고 오른쪽이 중국식 메이크업을 적용해 새로 만든 디지털 휴먼이다.
A. 최근에 맡았던 중국 인플루언서 제작 프로젝트가 기억에 남아요. 마침 한창 중국식 메이크업에 관심이 많아서 찾아보던 시기였거든요.
이런저런 얼굴을 만들어보고, 바디모델에 적용해 보는 작업이 너무 재미있어서 고객사에서 이야기한 작업 기간보다 훨씬 빠르게 완성시켰어요. 제가 결과물에 만족하더라도 보통은 고객사에 공유드리면 피드백을 주셔서 조금씩은 수정해야 하는데, 고객사에서도 아주 만족하셔서 한 번에 통과됐어요. 관심 두고 공부하던 것들이 유용하게 잘 쓰인 것 같아서 정말 뿌듯했죠.
Q. 한 명의 디지털 휴먼을 만드는 데는 시간이 얼마나 소요되나요?
A. 기존에 있는 소스를 활용한 단순 제작 자체는 짧으면 하루 만에도 가능해요. 하지만 디지털 휴먼의 페르소나를 얼마나 깊게 설정하는지 등 초반 기획에 시간이 많이 필요하죠. 제작 이후에는 결과물을 내부적으로 또는 고객사와 공유하고, 계속해서 소통하며 수정하는 작업을 반복해야 해요. 대략적으로는 프로젝트 하나 당 1~3개월 정도 소요되는 것 같아요. 얼마나 소통이 원활하게 되는지가 관건이라 소요 시간 폭이 큰 편이죠.
Q. 하루 일과는 어떻게 되나요?
직접 정리한 가상 얼굴 분류 라벨링 노트
A. 그때그때 프로젝트에 따라서 외부 미팅을 가거나, 촬영을 하는 날도 있어서 일과가 고정적이진 않아요. 그래도 루티너리하게 진행하는 업무가 하나 있는데, 얼굴 이미지를 수집해 카테고리화하는 작업이에요. 클레온의 기술로는 가상 얼굴을 만들고, 만들어진 가상 얼굴들을 다시 조합해 계속해서 가상 얼굴을 만들 수 있는데요. 가상 얼굴 이미지들을 많이 만들어낸 후 얼굴 특성에 맞게 분류해요.
어떤 디지털 휴먼을 만들 것인지 이야기하다 보면 다들 구체적인 특징보다는 어떠어떠한 느낌이라는 표현들을 많이 하시는데요. 예를 들어 얼굴에 대해 표현할 때는 ‘고양이상’이라든지 ‘귀여운 느낌’이라는 표현들을 하시곤 해요. 그런 표현에 맞는 가상 얼굴들을 미리 분류, 정리해 작업 시에 빠르게 찾고 적용할 수 있도록 하는 데이터 정리 작업이죠.
PART 2. 디지털 휴먼 크리에이터의 매력
Q. 이전에는 어떤 일을 하셨나요?
A. 고등학교 때는 미술을 전공했었고, 대학교 때는 국어국문학과를 전공했어요. 일관성 있는 전공은 아니지만 지금 생각해 보면 두 전공을 다 경험한 것이 지금 디지털 휴먼 크리에이터라는 직무로 일하는 데 도움이 되고 있다고 생각해요. 그림을 그릴 때 피사체를 유심히 관찰했던 것과, 다양한 문학 작품을 읽으면서 등장인물의 말투, 성격 등을 분석한 것이 각각 디지털 휴먼의 외, 내면을 만들어나가는데 큰 역할을 하고 있거든요.
Q. 하연님 같은 디지털 휴먼 크리에이터가 되기 위해서는 어떤 역량이 필요할까요?
A. 흔히 말하는 눈썰미가 좋은 분이면 업무에 빨리 적응하고, 즐겁게 일하실 수 있을 것 같아요. 여러 얼굴끼리 두고 보았을 때 어떤 점이 다른지, 어떤 얼굴끼리 조합해야 더 보기 좋은 가상 얼굴이 만들어질지 알면 작업이 수월하거든요. 그리고 어떤 직무든 필수인 능력이지만, 커뮤니케이션 능력이 중요해요. 제가 만든 디지털 휴먼을 활용하는 다른 팀원분들이나, 제작을 의뢰한 고객사와의 미팅도 많으니까요.
Q. 하연님이 디지털 휴먼 크리에이터로서 느끼는 일의 매력은 무엇인가요?
A. 앞서 이전의 경험들이 현재 디지털 휴먼 크리에이터로서 일하는데 많은 도움이 되고 있다고 이야기했지만, 사실 이 일을 하기 전까지는 지난 제 경험들이 일관성 있지 않은 것에 대한 후회를 자주 하는 편이었어요. 하지만 지금 일을 하면서 다양한 과거의 경험이 저의 큰 자산이라는 생각이 들었어요. 앞으로 더 좋은 작업물을 많이 만들고 싶어서 따로 일 관련 공부를 시작할 정도로 큰 애정을 갖게 됐고, 지금 제 일에 감사하고 있어요.
Q. 어떤 공부를 어떻게 하시나요?
A. 디지털 ‘휴먼’을 만드는 일을 하는 만큼, 사람에 대한 공부를 하고 있어요. 대학 때와 같이 꾸준히 소설을 많이 읽으면서 캐릭터 분석을 하고 있고요. 얼굴형, 이목구비의 형태에 따른 느낌 등을 파악하려고 성형외과 관련 잡지 등을 읽기도 해요. 또 같은 얼굴이라고 하더라도 메이크업 방법이나 머리 스타일에 따라 굉장히 다른 이미지로 보이기도 하기 때문에 뷰티 및 메이크업, 머리 스타일, 패션 등과 관련된 책이나 자료를 많이 찾아보는 편이에요.
Q. 디지털 휴먼 크리에이터로 일하며 갖게 된 직업병이나 습관이 있을까요?
A. 루티너리하게 하는 업무로 얼굴 이미지 수집을 하는 업무를 한다고 말씀드렸었는데요. 항상 정면의 얼굴 이미지를 수집하다 보니 정면 얼굴 이미지를 보면 수집하고 싶어져요. 이번 겨울에 TV에서 동계올림픽 중계를 보고 있었는데, 경기 시작 전에 선수들 증명사진이 TV 화면 아래쪽에 나란히 뜨더라고요. 보자마자 ‘딱 수집용 이미지다.’라는 생각이 들었어요. 올림픽을 보면서 그런 생각을 하다니 직업병이다 싶었어요.
Q. 최근 등장한 디지털 휴먼들에 대해 어떻게 생각하시나요?
각각 미국과 일본에서 제작된 디지털 휴먼 인플루언서 ‘릴 미켈라’(왼쪽)와 ‘이마(IMMA)’(오른쪽)
A. 디지털 휴먼의 쓰임에 따라 크게 상반되는 두 가지 방향으로 나누어져서 발전하고 있는 것 같아요.
인플루언서로서 활동하는 디지털 휴먼들은 예쁘고 멋진 것들이 인기를 얻기 쉬운 소셜미디어의 특성상 비현실적인 모습을 가지는 경우가 많은 것 같아요. 얼굴은 작지만 눈은 크고 팔다리도 길쭉길쭉한, 연예인 같은 모습이죠. 키오스크라든지 실제 사람이 하는 업무를 대체하는 디지털 휴먼들은 현실적으로, 진짜 사람과 같은 모습을 보여주려고 하는 것 같아요. 서비스를 이용하는 사람들이 이질감을 느끼지 않고 자연스럽게 소통할 수 있게 하는 것이 목적이니까요.
Q. 해외와 국내의 디지털 휴먼에도 차이가 있을까요?
A. 완전히 다른 모습은 아니지만, 해외에서 제작된 디지털 휴먼들이 더 개성 있고 얼굴이나 체형보다는 머리 스타일, 패션과 같은 스타일링이 더 부각되는 것 같아요. 주근깨 많은 말괄량이 느낌이라든지 분홍색 단발머리와 같이 각 디지털 휴먼마다 고유의 개성이 넘치는 모습이 많아요.
Q. 앞으로 디지털 휴먼 크리에이터의 비전과 전망은 어떨 것이라고 생각하나요?
A. 현재 회사에 디지털 휴먼 제작 문의나 의뢰를 하시는 고객사들이 많아요. 아무래도 비용이 저렴하고, 휴먼 리스크가 적다는 이점이 있으니 점차 도입되는 분야가 넓어지고 있죠. 메타버스처럼 디지털 휴먼이 활동할 공간도 넓어지고 있으니, 나중엔 메신저 프로필 사진처럼 누구나 자신만의 디지털 휴먼을 갖게 되지 않을까 싶어요. 시장이 커지면 커질수록 저와 같은 디지털 휴먼 크리에이터에 대한 수요도 높아지고 나중에는 이 직업도 평범한 직업 중 하나가 될 수도 있을 거라 봐요.
Q. 하연님이 원하는 최종 커리어 골은 무엇인가요?
A. 롤 모델을 꼽자면 SM엔터테인먼트의 이수만 총괄 프로듀서님인데요. 나이가 들어서도 노련하게 트렌디한 콘텐츠를 만들어내는 능력이 대단하다고 생각해요. 저도 많은 사람들이 매력을 느낄만한 트렌디한 디지털 휴먼 캐릭터와 세계관을 만드는 게 목표예요. 지금은 클레온에서 저 혼자서 이 업무를 하고 있지만, 나중에 더 많은 디지털 휴먼 크리에이터들이 생기면 그분들을 디렉팅 할 수 있는 레벨까지 성장하고 싶어요.
