모바일 버추얼 프로덕션 플랫폼, 비블을 소개합니다.

안녕하세요, 비블의 김훈입니다.

비블은 콘텐츠 크리에이터를 위한 모바일 버추얼 프로덕션을 제작합니다.
오늘은 10문 10답의 형태로 비블을 소개하려 합니다.

Q1. 버추얼 프로덕션이 무엇인가요?

버추얼 프로덕션은 실제 영상과 컴퓨터 그래픽을 “실시간으로 합성”하는 기법입니다.

배우와 CG가 실시간으로 합성된 영상을 촬영하는 스타워즈 만달로리안의 촬영 현장. (사진 출처: TechCrunch)

영화 아바타, 반지의 제왕, 그리고 SF 시리즈 만달로리안의 공통점을 아시나요? 정답은 모두 버추얼 프로덕션을 활용해 촬영되었다는 것입니다.

“버추얼 프로덕션(Virtual Production, VP)은 실제 영상과 컴퓨터 그래픽(CG)을 “실시간으로 합성”하는 기법입니다. 그린 스크린 앞에서 촬영한 후 매번 귀찮은 CG 작업을 거쳐야 했던 영화인들에게, 실시간으로 합성된 영상을 볼 수 있는 버추얼 프로덕션은 오랜 꿈이었습니다. 조지 루카스(스타워즈), 스티븐 스필버그(A.I.), 피터 잭슨(반지의 제왕), 그리고 제임스 카메론(아바타)과 같은 영화 제작의 거장들은 2000년대 초반부터 VP를 도입했습니다.

시공간의 제약 없이 촬영을 할 수 있는 VP는, 2019년 코로나 이후 해외 로케이션 촬영이 불가능해지자 급속도로 보급되기 시작했습니다. 특히 디즈니가 LED 월과 언리얼 엔진을 활용한 VP로 만달로리안을 촬영한 이후, VP는 영화/TV 산업에서 더욱 지분을 넓혀가고 있습니다.

Q2. LED 월? 게임 엔진? 버추얼 프로덕션은 어떻게 작동하나요?

이 기법의 원리는 실시간으로 렌더링한 가상 배경을 LED 월에 디스플레이하고 그 앞에 실제 피사체를 두어 함께 촬영하는 것입니다.

LED 월이 설치된 버추얼 프로덕션 스튜디오 (사진 출처: Full Sail Univ.)

LED 월을 활용한 VP는 5년 전이면 불가능했던 최첨단 기술의 집약체입니다. 이 기법의 원리는 실시간 가상 배경을 대형 LED 월에 디스플레이하고 그 앞에 실제 피사체를 두어 촬영하는 것입니다. LED 월은 어떻게 실제 그 공간에 있는 것 같은 효과를 내는 것일까요?

현실과 구분하기 어려운 언리얼 엔진 5의 실시간 렌더링 결과물 (사진 출처: Epic Games)

1. 실사 수준의 배경: 배경이 누가 봐도 CG 같으면 영화의 몰입도가 확 떨어지겠죠? VP는 3D 게임엔진과 강력한 GPU 서버를 활용해 실사 수준의 배경을 렌더링합니다. 이렇게 실시간으로 렌더링 된 배경은 특수 제작된 고해상도 LED 월에 디스플레이됩니다.

가상공간에 맞는 정확한 조명을 제공하는 LED 월 (사진 출처: TechCrunch)

2. 배경에 맞는 조명: 배경이 현실적이어도 실제 피사체에 비치는 조명이 배경과 맞지 않는다면 우리는 이질감을 느낍니다. 강력한 LED 월은 실제 그 공간에 있는 것처럼 피사체를 밝히는 정확한 조명을 제공해 이질감을 최소화합니다. 위 사진에서 스톰트루퍼의 갑옷이 푸르스름하게 빛나는 것처럼 말이죠.

카메라 트래커가 부착된 버추얼 카메라 리그 (사진 출처: DOGHUT)

3. 실제 카메라의 시점에 맞는 배경: 카메라가 피사체에 점점 다가가는데, 배경은 그대로라면 어색하지 않을까요? VP에 사용되는 카메라에는 실제 카메라의 정확한 위치를 파악하는 카메라 트래커가 부착되어 있어, 실제 카메라의 시점에 맞는 배경을 실시간으로 업데이트합니다.

Q3. 버추얼 프로덕션의 장점은 무엇인가요?

VP는 효율성, 실시간성, 그리고 창의성이라는 독보적인 장점을 제공합니다.

포스트 프로덕션이 필요 없는 영상을 실시간으로 촬영할 수 있는 버추얼 프로덕션 (사진 출처: ILM)

1. 효율성: VP는 시공간을 초월한 촬영을 가능케 합니다. 미리 제작해 둔 배경만 있다면 전 세계 어디든 촬영 장소가 될 수 있고, 날씨도 클릭 몇 번으로 바꿀 수 있습니다.
2. 실시간성: VP를 활용하면 촬영과 동시에 최종 결과물에 가까운 영상을 볼 수 있습니다. 배우들은 실시간으로 렌더링 되는 가상 배경에 몰입하여 연기할 수 있고, 제작진은 후반 작업에 대한 고민 없이 다양한 시도를 할 수 있습니다.
3. 창의성: VP는 기존에 불가능하거나 비쌌던 창의적인 촬영 기법을 가능케 합니다. VP를 통해 천문학적인 예산 없이도 우주의 시점에서 지구를 촬영하거나, 히말라야 산맥을 빠르게 훑는 영상을 제작할 수 있습니다.

Q4. 개인 크리에이터입니다. 저도 VP를 사용할 수 있나요?

아쉽지만 버추얼 프로덕션은 일반 콘텐츠 크리에이터에게 그림의 떡입니다.

국내 최대 LED 월(Wall)을 보유한 총 11,265㎡ 규모의 버추얼 스튜디오인 브이에이 스튜디오 (사진 출처: 국토일보)

LED 월을 활용한 VP는 한국에도 이미 10개 이상이 성공적으로 운영되고 있지만, 구축 비용으로 수십억에서 수백억이 필요합니다. 초대형 LED 스크린, 카메라 트래커, 렌더링 PC뿐 아니라 스튜디오를 구축할 공간과 운영 인력이 필요합니다. 아쉽지만 VP는 일반 콘텐츠 크리에이터에게 그림의 떡입니다. 실제로 디즈니는 버추얼 프로덕션을 구축하는 데에 1,000억 원 이상을 소요했습니다. 스튜디오 임대 또한 하루 기준 몇백에서 몇천만 원이기 때문에, CF나 영화 제작자가 아니라면 엄두도 내지 못합니다.

Q5. 유튜버들도 실시간 합성을 하던데, 그건 어떻게 하나요?

개인 크리에이터들은 그린스크린과 크로마키 기법에 의존합니다.

줌에서 자주 사용되는 AI 배경 교체 (사진 출처: Zoom)

결국 개인 크리에이터들은 오래전부터 사용되어 온 그린스크린과 크로마키 기법에 의존합니다. 크로마키는 배우가 그린스크린 앞에서 연기를 하면 초록색 부분을 다른 배경으로 바꾸는 기법입니다. 최근에는 많은 분이 Zoom의 AI background를 통해 손쉽게 배경을 교체해 보셨을 것입니다. 하지만 크로마키 기법은 조명과 시점이 맞지 않아서 버추얼 프로덕션이 아닙니다.

Q6. 크로마키 기법이 있다면 버추얼 프로덕션이 필요 없는 것 아닌가요?

몰입감 있는 스토리텔링을 위해서는 배경, 조명, 그리고 시점이 모두 갖춰진 VP가 필요합니다.

조명과 원근감이 맞지 않는 ASMR 상황극 (사진 출처: 유튜브)

이렇게 배경만 교체한 영상은 조명과 시점이 맞지 않아 몰입감 있는 스토리텔링이 어렵습니다. 바버샵에 있는 상황을 연출하려 했지만, 어딘가 모르게 보기 불편한 위의 유튜브 영상처럼 말이죠. 하나하나 뜯어보자면

1. 어색한 조명: 배경은 아래로 쬐는 은은한 조명이지만 피사체에는 강한 하얀색 조명이 정면으로 비치고 있습니다.
2. 어색한 시점: 유튜버를 찍는 카메라 시점은 얼굴 높이지만, 배경을 찍는 카메라의 시점은 그것보다 낮은 높이에 위치하고 있습니다.

재미 위주이거나 정보 전달용 콘텐츠는 크로마키 기법으로도 제작할 수 있지만, 결국 몰입감 있는 스토리텔링을 위해서는 배경, 조명, 그리고 시점이 모두 갖춰진 VP가 필요합니다. 물론 개인 크리에이터들이 사용할 수 있는 낮은 가격과 편의성을 갖추어야 하고요.

Q7. 그렇게 싸고 간편한 버추얼 프로덕션을 어디서 구하나요?

비블은 누구나 쉽게 사용할 수 있는 모바일 버추얼 프로덕션을 개발합니다.

모바일 버추얼 프로덕션 프리토타입

비블은 스마트폰만 있으면 누구나 사실적인 합성을 할 수 있는 모바일 버추얼 프로덕션을 개발합니다. 저희의 목표는 다음과 같습니다.

1. 사실적인 실시간 합성: 실제 카메라 시점과 일치하는 사실적인 배경과 그에 맞는 정확한 조명을 실시간으로 제공합니다. 시공간의 제약을 벗어나 마치 정말 그곳에 간 것처럼 촬영할 수 있습니다.
2. 물리적인 제약으로부터의 자유: LED 월, 그린스크린, 카메라 트래커, GPU 서버 등, 어떤 물리적인 장치도 필요로 하지 않는 모바일 앱입니다. 학교 교실, 자취방, 거실 그 어디에서든 사용할 수 있습니다.
3. 쉬운 사용성: CG에 대한 전문 지식 없이 누구나 쉽게 사용할 수 있습니다. 클릭 몇 번으로 원하는 배경을 선택하고 셔터를 눌러 촬영할 수 있습니다.

Q8. 모바일 버추얼 프로덕션이 정말 가능한가요?

비블은 AI를 활용해 물리적인 장비가 필요 없는 VP를 구현합니다.

자유자재로 배경과 조명을 조절할 수 있는 Matting과 Relighting 데모

이 모든 것을 가능케 해주는 것은 바로 AI입니다. 비블은 AI를 활용해 LED 월이나 카메라 트래커 같은 물리적인 장비 없는 버추얼 프로덕션을 구현합니다. 추후 포스팅에서 더 자세히 다룰 예정이지만, 핵심 구성요소는 다음과 같습니다.

• Matting AI: 이미지가 주어지면 기존 배경을 제거하여 원하는 배경을 합성
• Relighting AI: 피사체에 비치는 조명을 조절해 가상 공간에 맞게 변경
• Lightfield AI: 특정 공간을 효율적으로 캡처하여 렌더링
• Built-in Tracker: 스마트폰 센서를 활용해 카메라 움직임을 재현

Q9. 앞으로의 계획이 어떻게 되나요?

비블은 배경과 조명을 자유자재로 바꿀 수 있는 셀카 앱을 개발 중입니다.

비블은 MVP(Minimum Viable Product)로 배경과 조명, 그리고 시점을 자유자재로 바꿀 수 있는 셀카 앱을 개발 중입니다. “갑자기 웬 셀카 앱? 셀카 앱이랑 버추얼 프로덕션이랑 어떤 관계지?” 하면서 궁금해하시는 분들이 있을 것 같은데요, 자세한 내용은 다음 포스팅을 기다려 주세요.

Q10. 비블은 어떤 팀인가요?

1. 비블은 카이스트 출신 AI 전문가들이 공동 설립한 스타트업입니다. 모두 5년 이상의 AI 연구 경력을 가지고 있으며, NeurIPS, ICLR, ICML, CVPR 및 AAAI와 같은 최상위 AI 컨퍼런스에 14편의 논문을 발표했습니다.
2. 비블은 AI 프로덕트 메이커입니다. 아이디어 수준의 연구가 아닌, 스타트업인 루닛과 대기업인 크래프톤에서 암진단 AI부터 음성합성 AI까지, 사람들이 실제로 사용하는 다수의 AI 프로덕트를 출시했습니다.
3. 비블은 강력한 팀워크를 가지고 있습니다. 저희는 지난 몇 년간 동료로서 같이 일하며 합을 맞추며 강력한 팀워크를 구축하였습니다.

긴 글 읽어주셔서 감사합니다. 구체적인 기술과 프로덕트 개발 과정, 유저 리서치에 대한 내용은 앞으로 하나하나 블로그에 포스팅하려 합니다. 그럼 앞으로 많은 응원 부탁드리겠습니다. 더 궁금하신 분들은 info@beeble.ai로 연락주세요.