위에 소개된 기업/서비스의 공통점이 무엇인지 아시나요? 이 기업들은 모두 가상얼굴 생성기술을 활용한 서비스를 제공하고 있는 기업입니다. 이들 기업에서 활용하는 기술에 3D Face Reconstruction(이하 3D 얼굴 재구성)이 들어갑니다. 3D 얼굴 재구성은 다양한 산업 분야에서 사용되지만, 그 중에서도 가장 활발하게 활용되는 서비스는 뷰티 및 미용 산업, 게임, 영화 및 텔레비전입니다.
3D 얼굴 재구성이란 무엇인가요?
컴퓨터 비전, 컴퓨터 그래픽 및 생체 인식과 같은 다양한 분야에서 사용되는 3D 얼굴 재구성은 2D 이미지 또는 비디오에서 3D 얼굴 메시를 생성하는 프로세스입니다. 이 기술을 구현하는 방법은 일반적으로 3가지가 있습니다.
- 3D 스캐닝: 3D 스캐너는 사람의 얼굴을 스캔하고 3D 얼굴 메시를 생성하는 데 사용됩니다.
- 2D 이미지에서 3D 얼굴 재구성: 2D 이미지에서 3D 얼굴 메시를 생성하는 방법에는 여러 가지가 있습니다. 한 가지 방법은 이미지에서 얼굴의 특징을 감지하고 이를 사용하여 3D 얼굴 메시를 생성하는 것입니다. 또 다른 방법은 이미지에서 얼굴의 깊이 정보를 추출하고 이를 사용하여 3D 얼굴 메시를 생성하는 것입니다.
- 3D 얼굴 모델: 3D 얼굴 모델은 3D 얼굴 재구성에 사용할 수 있습니다. 3D 얼굴 모델은 3D 스캐너를 사용하여 생성하거나 3D 모델링 소프트웨어를 사용하여 생성할 수 있습니다.
2D 이미지에서 3D 얼굴 재구성하기 위해 필요한 데이터셋
더 정확하고 신뢰할 수 있는 모델을 생성하기 위해 데이터셋을 찾을 때, 아래 세가지 기준을 참고하시면 좋습니다.
- 데이터의 크기 : 다다익선ㅎ
- 데이터의 다양성: 다양한 연령, 인종 및 성별의 사람들이 포함된 데이터
- 데이터의 품질: 노이즈나 왜곡이 없는 고품질 데이터
위의 기준에 적합한 데이터 세트를 소개합니다
- D3DFACS: 다양한 연령, 인종 및 성별의 사람들을 포함한 10,000개 이상의 얼굴 메시(Mesh)와 다양한 조명 조건과 포즈로 캡처된 얼굴이 포함되어 있습니다.
> Created at 2020년, Recently Updated at 2021년
> “3D Face Reconstruction from a Single Image with D3DFACS” - BU-3DFE: 3D 스캐너를 사용하여 스캔된 100개 이상의 얼굴 메시
> Created at 2009년, Recently Updated at 2014년
>“A 3D Morphable Face Model for Face Recognition and Image Synthesis” - CASIA-3DFace-Database: 3D 스캐너를 사용하여 스캔된 400개 이상의 얼굴 메시
> Created at 2005년, Recently Updated at 2013
> “Face Recognition Using 3D Morphable Models: A Survey”
위 세가지 데이터의 장단점을 비교하면 아래와 같습니다.
활용(모델) 목적에 따른 데이터셋 선택 기준
데이터 세트의 선택은 모델의 목적과 사용할 수 있는 리소스에 따라 달라집니다.
- 저렴하고 사용하기 쉬운 모델이 필요한 경우 (BU-3DFE)
- 훈련 및 배포 비용이 저렴하기 때문에 소규모 팀이나 개인이 쉽게 사용할 수 있습니다.
- 사용하기 쉬워서 기존의 3D 얼굴 재구성 방법에 익숙하지 않은 사용자도 쉽게 사용할 수 있습니다. - 높은 정확도의 모델의 필요한 경우 (D3DFACS, CASIA-3DFACE)
- 3D 얼굴 재구성에서의 높은 정확도란 원본 얼굴과 생성된 3D 얼굴이 유사하다는 뜻입니다.
- MAE, MSE와 같은 지표의 개선정도, 인간 평가자의 주관적 판단에 의해 정확도를 판단할 수 있습니다..
