생성 AI를 활용한 SF 시리즈 컨셉팅
어바웃 필름에서 기획 중인 <오리진> 프로젝트 참여 회고
엔지니어링6를 준비하는 와중에 수행했던 프로젝트를 이제 소개해 드릴 때가 된 것 같습니다. 저희는 2023년 9월부터 10월까지 영화 <극한직업>을 제작했던 어바웃필름이 준비 중인 SF 시리즈 ‘오리진’(가제)의 비주얼 컨셉을 생성 AI를 활용해 구현하는 프로젝트를 진행했습니다. 아마 그 당시로서는 상업 영화/드라마 기획에 생성 AI 작업을 본격적으로 활용한 거의 최초의 사례가 아닐까 싶습니다.
영화 기획 업무도 직접 해본 적 있고, 컨셉 아티스트와도 일을 해본 적이 있는 입장에서 저희는 이 작업이 기존 전문가들의 밥그릇을 빼앗는 일이 되는 걸 원치는 않았습니다. 그 대신 생성 AI가 기획/연출자들이 컨셉 아티스트나 VFX 회사에게 일을 맡기기에 앞서 스스로 컨셉을 분명하게 만드는 데 도움을 줄 수 있겠다 싶었습니다.
사실 콘티까지 완전히 스스로 그려낼 수 있는 극소수의 감독님들을 제외한다면, 시나리오 단계에서 작품을 구성하는 시각적 요소들에 대해 확실한 답을 가지고 있는 기획/연출자는 거의 없습니다. 때문에 제작 초기 단계에 기획/연출단과 시각효과 담당자들이 만나면 이 작품이 그리고자 하는 비주얼이 무엇인지에 대해 서로 맞춰 가는 작업이 반드시 필요하게 됩니다. 그때 기획/연출단이 제공할 수 있는 자료라고는 기껏해야 기존 영화들에서 따온 푸티지들이거나, 구글에서 긁어온 이미지들, 그것도 아니면 (대부분은 미흡한 손재주로) 어설프게 그려낸 스케치들 뿐입니다. 모든 디테일에 대해 컨펌 해주기를 원하는 전문 작업자들의 관점에서는 매우 모호하고 불친절하고 불확실한 수준의 자료들이죠.
그때 기획/연출자들이 생성 AI를 활용해 아주 구체적인 이미지를 제공해 줄 시 있다면 어떨까 싶었습니다. 그렇게 된다면 VFX 분야 전문가들에게 줄 수 있는 예시가 명확해지고, 커뮤니케이션도 훨씬 효과적이 될 수 있을 테니까요. 저희는 어바웃필름 측에 그걸 할 수 있다고 제안 드렸습니다. 진짜 그게 될까? 진짜 도움이 될까? 처음엔 모두들 반신반의하는 상태였습니다. 일단 해봐야 알 수 있다, 직접 해보는 데 시간도, 돈도 많이 들지 않는다. 그게 저희의 설득 내용이었고 당시 샘플로 만들어 본 이미지들이 약간의 기대를 불러 일으켜 이 작업이 정식 계약을 맺고 진행할 수 있게 되었습니다.
하지만 저희 역시 아무리 생성 AI 툴이 급격하게 발전했다고 해도, 정말 대본만 가지고 이미지를 뽑는 작업이 자유자재로 이루어질 지는 솔직히 미지수였습니다. 그렇게 한 달. 감탄을 금치 못하는 순간도 있었고, 실망스러운 순간도 있었습니다. 특히 생성 AI가 아직은 일관된 이미지를 만들어내기 어렵다는 것은 가장 안타까운 일이었습니다. 마음에 드는 얼굴, 의상, 소품, 배경들을 어렵게 만들어냈다고 하더라도 그걸 유지해서 유사한 이미지들을 생성해 내는 건 사실상 불가능에 가까웠습니다.
그럼에도 불구하고 ‘기획/연출단의 시각적 컨셉이 분명해지도록 돕는다’는 취지에 부합하는 의미 있는 성과도 있었습니다. 예컨대 대본에 나온 외계인들의 복장이 어때야 할 지 구상이 필요했습니다. 우린 이미 스타워즈나 스타트랙, 듄, 마블 시리즈 등에서 제복 스타일, 우주복 스타일, 승려복 스타일 등 수많은 외계 문명의 복장을 봐 왔죠. 과연 생성 AI가 이제껏 봤던 이미지 말고 참신한 이미지를 뱉어낼 수 있었을까요? 생성 AI의 최대 장점이라면 빠른 시간에 많은 결과물을 확인할 수 있다는 것이었습니다. 이런 저런 프롬프트를 넣어 결과물을 비교 해 보면서 막연하게 머릿속 이미지들이 구체화 되는 과정이 보이기 시작했습니다. 선택지에서 배제할 카테고리들과 남겨둘 카테고리들을 계속 구분 지어 가다 보니 이미지는 점점 구체화될 수 있었습니다. 그러다 고개를 끄덕거리게 된 것이 아래 중세 갑옷의 모티브를 적용시킨 제복이었습니다. 맨 처음 아이디어를 낼 때 ‘갑옷’ 모티브를 낸 사람은 없었는데도 결국 이 답을 얻을 수 있었습니다. 일관성을 유지하기 어려운 생성 AI의 한계로 같은 디자인을 반복 적용시키기는 어려웠지만 적어도 전문 디자이너에게, VFX 아티스트에게 보여줄 컷 한 장은 건진 셈입니다.
또한, 극 중 외계인들의 건물을 어떻게 묘사할 지에 대한 아이디어도 필요했습니다. 외계인들이 적극적으로 각국의 정부를 통치하고 있다는 설정이어서 과거 공산주의 진영 국가들에서 많이 활용했던 ‘브루탈리즘’ 양식을 써보면 어떨까 하는 아이디어가 나왔습니다. 여기에 감독님이 뭔가 현대적인 감각을 더해 회색빛 건물로 보이지 않으면 좋겠다는 의견을 주셨고 이를 적용시킨 결과물이 아래와 같습니다.
이렇게 시각적인 결과물을 만드는 데 있어서 저희는 모든 컷들이 마치 이미 만들어진 영화의 스틸 컷들을 모아 놓은 것처럼 보이기를 원했습니다. 컨셉 작업이지만, 생성 AI를 쓴다면 굳이 ‘컨셉 아트’를 흉내 내는 게 아니라 아예 우리가 본 적이 없는 영화의 스틸 컷을 뽑아내는 게 가능하고 더 효과적이라 생각했습니다. 그 과정에서 미드저니의 학습 소스에 한국 보다는 중국 쪽이나 일본 쪽 소스가 많았을 것 같다는 강한 확신을 얻으면서 아래와 같은 스틸들을 최종적으로 얻을 수 있었습니다.
이러한 이미지들을 얻는 과정에서 저희들은 2023년 5월부터 공론화 되기 시작한 생성 AI 가이드라인을 따르고자 했습니다. 즉, 프롬프트에 특정 영화나 특정 감독, 특정 배우의 이름을 넣지 않기로 하는 것이지요. 아래 이미지들은 그런 원칙에 의해 생성된 결과물들입니다.
풍부한 스틸 컷들을 만들어 낸 뒤, 저희는 이를 기반으로 동영상 컨셉 트레일러를 만들어 보고자 했습니다. 저희가 프로젝트를 진행하던 시점은 런웨이(Runway), 피카(Pika) 등 이미지 기반으로 동영상을 생성해주는 서비스들이 막 나오던 때였습니다. 결론적으로는 미드저니가 만들어 낸 스틸 컷을 비디오로 바꾸는 과정에서 화질 저하가 심해 최종 결과물은 스틸을 이어 붙이는 정도로 갈 수밖에 없었지만, 이 작업을 하는 와중에도 런웨이의 화질 개선이 이루어지는 등 진짜 기술 변화가 빠르다는 것을 실감하면서 다음 번 이런 프로젝트를 다시 한다면 그땐 정말 동영상 생성의 비중을 훨씬 높일 수 있겠구나 싶었습니다.
현 시점 생성 AI로 도달 가능한 수준과 한계 지점 모두를 점검할 수 있었던 프로젝트였기에 힘들었지만 즐거운 시간이었고 이를 통해 처음 떠올렸던 가설, 즉 생성 AI가 그동안 머릿속 그림들을 꺼내 보여주지 못해 답답하던 기획/연출자들에게 정말 강력한 무기가 될 수 있음을 확인하게 된 것 같아 기뻤습니다. ‘오리진’이라는 작품이 이 컨셉들의 도움을 받아 올해 제작에 성공하고 언젠가 진짜 작품으로 만날 수 있기를 희망하고 응원합니다.
Concept Trailer 제작에 쓰인 생성 AI 솔루션
- 제작 : 어바웃필름
- 프롬프트 엔지니어링 & 영상 편집 : 엔지니어링6(Engineering 6)
- 이미지 생성 : 미드저니 5.2 버젼(Midjourney 5.2)
- 동영상 생성 : 런웨이 Gen2(Runway Gen2)
- 보이스 생성 : Eleven Labs
- 배경음악 : Pixabay — Trap Future Bass (Royalty Free Music)
by Nver Avetyan from Pixabay - 동영상 편집툴 : Capcut
