[XRMust] 알렉스 쿨롬 인터뷰
라이브 공연의 경우 몰입형 매체라는 새로운 경험을 십분 활용하여 현실 그 이상을 구현할 수 있다 — 알렉스 쿨롬(애자일 렌즈)
인터뷰어 : Mathieu Gayet
원문 : 2021년 12월 15일자 XRMust Video
옮긴이 : 시그니처W
알렉스 쿨롬은 트위터, 유튜브(iBrews로 활동) 등 소셜미디어에서 특히 활발하게 활동하는 XR 인플루언서 중 한 명이다. 건축, 디자인, 언리얼 엔진, 극장에 이르기까지 다양한 분야에서 열정적으로 작업하는 알렉스 쿨롬브. 오늘날 몰입형 작품을 설명하고, 미래의 모습을 가늠하는 데 최적의 인물일 것이다.
DK1 이전 — 몰입형 사고의 첫 적용 (Before the DK1 — First application of immersive ideas)
알렉스 쿨롬 — 2005년에서 2010년까지 뉴욕주의 시라큐스 대학교에서 건축과 연극을 공부했습니다. 당시 제가 쓴 논문 내용은 뉴욕시 남쪽에 자리한 거버너스 아일랜드의 포트 제이(Fort Jay)에 초대형 극장을 만드는 것이었는데요, 그러기 위해서는 계획 중이던 이머시브 시어터의 초기 개념의 핵심과 그 무모함을 전달할 방법이 필요했습니다. 제 생각은 사실 관객을 실제로 무대에 올리는 것이었어요. 그런데 기존의 건축 모델링 도구로는 이런 아이디어를 충분히 설명하기 힘들더군요. 그래서 2009년 웹캠과 마커를 이용한 증강 현실의 초기 형태를 활용해 제 이론을 전달했습니다.
건축 분야에서 일을 시작하면서 증강 현실, 실시간 기술 등의 도구 활용이 가치 있다는 점을 기업에게 설득시키려고 노력했어요. 건축에서는 공간 사이를 움직이는 느낌을 느낄 수 있어야 하거든요. 스크린샷만으로는 알 수 없어요. 공간이 압축되었다가 풀어지고, 빛과 그림자, 색의 변화 등을 느낄 수 있어야 합니다. 그러다 2013년, 오큘러스의 킥스타터를 발견했는데, 가능성이 보였죠. 당시 저는 피셔 닥스 어소시에이츠(Fisher Dachs Associates)의 극장 설계 및 디자인 팀에서 일하고 있었는데, 미팅 때마다 특정 공간을 설명하기 위해 상당히 많은 시간을 할애하고 있었죠. 우리 디자인을 가상 현실로 보여주기 시작하면서부터 미팅이 쉬워졌습니다.
쿨롬 — 물론 현실 세계의 건축에는 평방 피트(또는 미터)당 비용, 디자인 맥락과 그림자 문제 해결, 물리적인 제한 등 수많은 경계와 한계가 존재합니다. 가상 건축의 세계는 이런 부분에서 자유롭고 그것이 매우 큰 장점이지만, 사실 가상 건축도 똑같습니다. 가상화에도 고유의 한계가 존재합니다. 하드웨어나(팀 전체, 고객이 모두 같은 헤드셋을 사용해야 할 수도 있음!) 프로젝트 내 폴리곤 수에 따라 예산이 다르고 제한되는 것이 다른 뿐이죠. 현실에서는 불가능한 것이 가상 공간에서 구현되기도 하지만, 결국 핵심은 건축학적 심리, 공간, 움직임에 따라 선택한다는 것입니다.
실시간 엔진의 진화가 크리에이티브 디자이너에게 의미하는 것 (About the evolution of real time engines for a creative designer)
쿨롬 — ‘버추얼 프로덕션’이 영화계, TV 산업, 심지어 비디오 게임에서도 뜨거운 화두가 되었죠. 그러나 라이브 이벤트에서는 아직 활발하게 사용되지 않고 있습니다. 저의 경우 지난 몇 년간 유니티와 언리얼 엔진 작업이 늘었는데, 유니티가 가고 있는 방향이 옳다고 생각합니다. 유니티에서 웨타를 인수한 것은 정말 잘한 결정이었죠. 이제 영화 산업 같이 특정 산업에서 사용하려고 만든 버추얼 프로덕션 툴을 통합해서 라이브 이벤트 같은 완전히 다른 산업에서 사용할 수 있게 되었습니다. 현재 저는 라이브 이벤트나 극장용으로 만들어진 것이 아닌 다양한 기술, 무대장치, 요소를 찾아 내는 “골라내기” 작업 중인데요, 클린업, 후처리 없이 온전히 실시간으로 만들어, 그 순간을 포착하고, 최적의 방법으로 활용하는 방법을 연구 중입니다. 정말 흥미로운 작업이죠.
쿨롬 — 개인적으로는 유니티, 언리얼과 같은 툴을 스스로 학습하는 것이 점점 더 쉬워지고 있다는 점이 정말 놀라워요. 훌륭한 커뮤니티, 시험 사용, 비용 등 모든 면에서 툴의 접근성이 아주 용이하죠. 2019년 퀘스트1에 이어 현재 퀘스트2를 사용하고 있는데 그 발전이 정말 훌륭합니다. 저는 학생들을 가르치고도 있는데요, 학생들의 습득 속도와 몰입감 넘치는 경험을 만들어 내는 것만 봐도 알 수 있습니다. 기술적인 어려움은 점점 줄어들고 창의적인 아이디어가 더 중요해지고 있어요. 현재는 회화, 비디오게임, 책 등 모든 아이디어에 몰입형 매체를 활용할 수 있는 것 같습니다. 그런 아이디어에서 바로 실제 경험으로 연결되어 즐길 수 있는 단계가 점점 줄어들고 있고요.
VRChat을 사용하면 정말 열정적인 사람들을 많이 만나게 됩니다. 그런데 시간을 들여 공간을 만드는 방법을 학습한 사람은 많지 않습니다. 누구든 자신이 원하는 것을 한 번 해보라고 말해주고 싶어요. 기초를 학습하고, 자신의 방법을 구축하면서 실력이 나아졌으면 합니다. “프로처럼 규칙을 학습하고, 아티스트처럼 그 규칙을 어겨라” 피카소의 말입니다. “그렇지 않으면 목적없이 어긴 규칙만이 남을 뿐이다”. 이건 제가 추가했고요. 피카소의 화풍은 처음엔 매우 현실적이었는데 시간이 갈수록 추상적으로 변했습니다. 결국 피카소에게 규칙이라는 것이 필요 없었지만, 그가 규칙을 알고 있었다는 점이 중요하죠.
VR에서 빨리 반복구현(iterate)할 수 있는 것은 매우 큰 장점입니다. 현실 세계에서는 요식체계, 예산, 서로 다른 부서의 승인 요구 등의 한계로 정말 괴로울 때가 많았습니다. 가상 현실에서는 아이디어만 있으면 언제라도 내 가족, 내 주변인들에게 바로 보여줄 수 있죠. 온라인으로 모두에게 공유할 수도 있고. 이는 창의적인 관점, 기능적 관점 모두에서 전례가 없었고, 매우 중요합니다. 교육이든, 앱이든, 그저 사람들끼리 연결하든, 유용한 경험을 만들기만 하면 되니까요.
현실 세계를 가상 현실로 복제하기 (Replicating the real world in virtual reality)
쿨롬 — 전 새로운 (가상) 세계가 필요하다고 생각해요. ‘스큐어모피즘(skeuomorphism)’(편집자 주: 그래픽 사용자 인터페이스 디자인에서 가장 널리 사용하는 용어로, 실제의 사물을 모방하거나 해당 사물과 상호작용하는 방식으로 인터페이스 객체를 표현하는 것을 뜻함 — www.interaction-design.org)이라는 단어를 좋아하는데, 현실 세계의 물건을 그대로 복제하는 방식이에요. 그래야 친숙함을 느낄 수 있기 때문이죠. 극장 환경에서는 이에 대한 공통의 이해가 있어요. 사람들이 이해할 수 있어야 하기 때문에 현실 세계를 복제하는 것은 중요한 일입니다. 극장에 가면 관객은 조용히 해야 하고 배우에게 집중해야 하죠. 그런데 가상 세계에서 예를 들어 관객에게 한 곳에서만 고정된 각도에서 공연을 보라고 하면 말이 될까요? 관객이 몸을 움직이고 유영할 수 있다면, 멀찌감치 떨어져서 보거나 배우의 얼굴에 초 근접해 그 표현의 뉘앙스를 완벽히 느낄 수도 있겠죠. 가상 현실의 장점을 적절히 활용할 수 있어야 합니다.
쿨롬 — 새로운 매체들을 통해 그런 것들을 경험할 수 있는데 관객이 그렇게 하지 않을 이유가 있을까요? 관객이 어쩔 줄 몰라 하거나 포기하지 않는 선에서 적절하게 작업하는 것이 관건입니다. 영화관이나 터치스크린 기기가 그랬듯, 초기에는 안정감과 친숙함을 위해 현실 세계를 모방하는 일이 많을 것입니다. 기억해보면, 초창기 영화는 하나의 구도로만 촬영했어요. 편집, 와이드샷, 클로즈업 등도 없었죠. 지금 우리가 아는 영화 촬영술은 시간이 흐르며 발전된 것입니다. 초창기 앱은 사실 웹사이트 수준이었죠! 영화나 앱 사이에 약 100년의 시간차가 있을 뿐, 둘 다 개발이 필요한 새로운 언어인 것은 동일하다고 봅니다. 시간이 흐를수록 우리는 새로운 몰입형 매체를 활용할 수 있는 방법을 알아낼 것이고, 친숙함에서 벗어나 완전히 새로운 무언가을 할 수 있게 될 거라고 믿습니다. 현재 우리가 보는 가상 현실, 증강 현실의 기술이 더욱 보편화되면서 이젠 확장만 하면 되겠죠.
VR 라이브 공연 극장 및 <크리스마스 캐럴: 스크루지의 유령과의 조우> A CHRISTMAS CAROL: SCROOGE’S GHOST ENCOUNTER (Live-performance theatre in VR and A CHRISTMAS CAROL: SCROOGE’S GHOST ENCOUNTER)
쿨롬 — 사라 엘리스와 로열 셰익스피어 컴퍼니에서 버추얼 프로덕션 <드림>(Dream)을 만들었을 때 정말 기뻤습니다. 이들은 훌륭하게 모션 캡쳐 기술을 사용해 라이브로 공연을 중계방송했죠. 이 아름다운 공연 세상을 가상 현실 안에서 구현할 수만 있었다면 얼마나 좋았을까요? 저는 이 공연을 제 아이들과 다섯 번이나 봤답니다! 우리 아이들은 버추얼 시어터를 정말 좋아하거든요. 아이들은 <더 언더/템페스트>(The Under Presents/Tempest), <웰컴 투 레스피트>(Welcome to Respite), <팅커>(Tinker), <메타무비의 에이리언 레스큐>(Metamovie: Alien Rescue), <온보드XR>(Onboard XR) (인터뷰 보기) 등 수많은 훌륭한 VR을 경험했습니다.
루이빌의 액터스 씨어터(링크)와 함께 <크리스마스 캐럴: 스크루지의 유령과의 조우 VR 라이브>를 제작할 때는 우리가 정말 좋아했던 것에서 많은 영감을 얻었죠. 공연 중 어디로든 이동할 수 있고, 스크루지를 가까이서 보고 싶다면 코앞에서 볼 수도 있습니다. 주변을 둘러볼 수도 있죠. 가상 현실이라는 매체를 사용하면 현실 세계에서 불가능했던 것을 할 수 있습니다. 현실에서 벗어날 수 있는 것은 매우 흥미로운 경험이죠.
저는 항상 기술을 이용해 극장에 도움을 줄 방법을 찾아보았습니다. 고등학생 때 연극을 하나 썼는데, 프로젝션 맵핑을 이용한 45분짜리 뮤지컬이었죠. 당시에는 교내 프로젝터라는 제한된 기술로 가능한 최상의 의미 있는 결과물을 뽑아내는 것이 숙제였습니다. 그러다 대학에 들어가 ‘웨어하우스 아키텍처 씨어터 (Warehouse Architecture Theatre)’라는 극단을 공동 설립했습니다. 이 극단은 아직도 시라큐스 대학에 남아있는데요. 당시 가상 현실을 활용해 극장을 설계하면서 가상 현실 기술을 활용하면 미래 공연을 미리 볼 수 있게 될 것이라 믿었습니다. 셰드(Shed, HBO 드라마 <석세션>(Succession)에 나오는 뉴욕시 신축 건물) 프로젝트에서도 작업했는데, 이 때도 가상으로 건물을 설계하는 접근 방식을 활용했습니다. 또한 공연장에서 특정 공연이 실제로 어떻게 보일지 상상할 때도 VR을 사용했죠.
VR에서 작업하기와 공연 제작자 커뮤니티 (Working around VR and the theatermakers community)
쿨롬 — 2018년 필립 로즈데일(Philip Rosedale, 세컨드라이프 창립자, 하이피델리티 VR 공동 창립자)과 보스턴의 한 컨퍼런스에서 발표를 했습니다. 그러다 VR 라이브 이벤트의 가능성에 대해 이야기를 시작하게 되었죠. 그가 나에게 뉴욕시에 있는 공연 제작자 연합체를 구성해 VR 공연에서 무엇이 되고 무엇이 안되는 지 연구해볼 수 있을지 물었습니다. 재능 있는 친구들로 만들어진 소규모 그룹이 또 다른 재능 있는 친구들이 모인 그룹을 초대하고, 이 그룹이 더 큰 연합체로 성장을 거듭하여 결국 <얼라이브 인 플라스틱랜드>(Alive in Plasticland)가 되었습니다. 이후 하이피델리티가 공간 오디오 분야로 전환하면서 우리 중 일부는 모질라 허브(Mozilla Hubs), VR 챗(VRChat), 알트스페이스(Altspace), 레크 룸(Rec Room) 등에서 연구를 지속했습니다. 이들은 모두 무료 소셜 VR 플랫폼인데요, 원래 라이브 이벤트용으로 만들어진 플랫폼들이 아닙니다. 이러한 움직임의 반대편에는 포트나이트, 웨이브에서 펼쳐지는 이벤트가 있죠. 모두 훌륭하게 제작된 이벤트지만 수백만 달러의 예산을 들여 제작한 맞춤형 제작물입니다. 공연 커뮤니티에 있는 우리에겐 불가능한 예산이죠.
저를 비롯하여 공동 창립자인 오어 와크닌(Or Waknin), 에이탄 매너(Eytan Manor) 같은 사람들이 새로운 플랫폼, 헤버뉴(Heavenue)를 개발하기로 결정한 것도 이 때문이었습니다. 헤버뉴는 클라우드 상에 존재하는 공연 플랫폼으로, 예산, 자원, 기술의 규모와 상관없이 작동합니다. 300달러짜리 VR 기기를 포함해 어떤 장치로든 인터넷에 연결만 되어 있다면 전세계 모두가 즐길 수 있는 멋진 공연을 최대한 쉽게 제작할 수 있는 플랫폼을 만들기 위해 노력하고 있죠. 우리가 개발 중인 <크리스마스 캐럴 VR 라이브>에 나오는 폴리곤의 수는 수백만 개입니다. 어떻게 모든 폴리곤을 한 곳에 합칠 수 있을까요? 클라우드 컴퓨팅이 답입니다. 모두가 각자의 컴퓨터보다 100배 더 강력한 인터넷을 사용할 수 있거든요. 그저 신호를 주고받을 정도의 인터넷 연결만 있으면 돼요. 장담컨데, 자신의 퀘스트에선 절대 경험하지 못했던 수준의 VR 경험이 될 겁니다. 모바일 칩셋이 처리할 수 없는 기능을 라이브로 방송할 것이기 때문에, 강력한 데스크톱 컴퓨터가 없는 사용자라면 더욱 신세계를 경험하게 될 겁니다.
저는 북미에서 가장 큰 극장 전문가 모임인 씨어터 커뮤니케이션즈 그룹(Theatre Communications Group, TCG)에서 해당 주제에 따른 콘텐츠 선별 작업을 하고 있습니다. 루이빌의 액터스 씨어터(Actors Theatre)도 바로 2019년(“코로나 이전 시대!”)에 만났구요. 이들은 VR에서 라이브 이벤트를 열 수 있다는 사실에 매우 놀라고 들떴죠. 곧 공연에 들어갈 자신들의 <크리스마스 캐럴> 프로덕션을 전세계에 공유하고 싶었던 이들은 불과 몇 달 전 우리에게 연락을 해왔습니다. 헤버뉴를 시험해보기에 완벽한 케이스였죠. 로버트 배리 플레밍(Robert Barry Fleming) 감독은 찰스 디킨스의 <크리스마스 캐럴>을 VR 용으로 아주 멋지게 해석해냈습니다. 아리 타르(Ari Tarr) 배우가 여러 배역을 맡아 관객에게 말을 걸고, 유령들과 이야기합니다. 스크루지 이야기를 새로운 각도에서 바라보는 이 공연은 VR이라는 매체를 매우 잘 활용한 작품입니다. 관객은 소름 끼치는 유령을 만나고, 현실 세계에서는 절대 구현해내지 못했던 환경을 보게 될 것입니다. 게다가 제가 개인적으로 수년간 팔로잉했던 엄청난 재능의 훌륭한 배우가 출연하죠! 늙고 주름진 그의 스크루지 아바타를 코앞에서 만나고, 배우의 모든 뉘앙스를 온전히 느낄 그 날을 손꼽아 기다리고 있습니다.
