[논문 소개] (CVPR2022) InsetGAN

이번에 소개드릴 논문은 CVPR2022에서 발표된 InsetGAN이라는 논문입니다.

InsetGAN을 활용한 얼굴-몸의 자연스러운 연결

레고 장난감의 머리를 바꿔끼우듯, 한 사람의 몸에 여러 사람의 얼굴로 바꿔 다양한 사람으로 만들 수 있다면 얼마나 재미있을까요?

InsetGAN은 이 아이디어에서부터 출발합니다. InsetGAN은 최신 딥러닝 기반 생성기들과 여러 가지 기법들을 활용해, 고화질로 사람의 몸과 얼굴을 생성하는 과정을 최적화하는 프레임워크를 제공합니다.

자연스러운 경계 합성

몸과 얼굴을 연결하기 위해서는 목-어깨로 이어지는 부분을 자연스럽게 만들어내는 것이 굉장히 중요합니다. 그러기 위해서는 얼굴 이미지 생성기가 원래의 몸 이미지가 가지고 있던 옷과 어깨 부분을 자연스럽게 재현해야합니다. 해당 부분은 아래와 같은 손실 함수를 최소화하면서 자연스럽게 합성이 될 수 있습니다.

얼굴 생김새 보존

하지만 자연스럽게 이어지기만 하고, 얼굴의 생김새가 잘 보존되지 않는다면 그 또한 문제겠죠? 따라서 아래와 같은 손실 함수를 통해서 우리는 새롭게 붙이는 얼굴의 생김새가 변하지 않도록 잘 통제합니다.

그 외에도 여러 가지 재미있는 손실 함수가 많이 제시되어 있으니, 자세한 부분은 논문을 참고해 주세요 :)

학습 결과

짜잔! InsetGAN을 활용하면 위 이미지와 같이 다양한 얼굴 이미지들에 대해서 자연스러운 합성이 가능하다고 합니다.

하지만 InsetGAN 논문에서는 가상의 얼굴과 가상의 몸에만 합성이 가능하다는 한계점이 있다고 말합니다. 그렇다면 실존하는 몸과 얼굴을 가상으로 이어주는 것은 불가능할까요? 가능하다면, 제 친구의 몸에 제 얼굴을 붙이는 등 재밌게 응용할 수 있을 텐데 말이죠!

기존 InsetGAN결과(좌)와 클레온 내 고도화 모델의 결과(우)

클레온 자체적으로 테스트해 본 결과, 아쉽게도 실존 이미지에 InsetGAN을 활용하는 것은 아직 어렵다고 판단이 되었습니다.(위 이미지 왼쪽)

간단한 고도화 과정을 거쳐서 조금 더 자연스럽게 만들어봤는데요.(위 이미지 오른쪽) 훨씬 더 자연스러운 이미지 생성을 위해 클레온은 계속해서 InsetGAN을 업그레이드하여, 더 다양한 콘텐츠 제작에 활용할 수 있도록 노력하고 있습니다.

자세한 업그레이드 방법이나, 활용 콘텐츠가 궁금하실 분들을 위해 조만간 다시 또 관련 소식 전달드리도록 하겠습니다.

그때까지 저희 클레온 R&D 센터 미디엄을 계속해서 지켜봐 주세요!

감사합니다 :)