WATCHA CTI’s Case Report: <Join My Table> — 2부 프리프로덕션
왓챠의 CTI팀은 Creative Tech & Infra의 줄임말로 미국 넷플릭스에 있는 동명의 팀으로부터 영향을 받아 창설되었습니다. 이 문서는 왓챠 오리지널 <Join My Table>(이하 JMT)이라는 작품을 제작하며 정리한 CTI팀의 업무와 고민을 담기 위해 작성되었습니다.
콘텐츠 제작이 시작되면 CTI팀은 가장 먼저 [납품 기술 사양서]를 작성합니다. 담당 PD와 각 제작 파트 전문가들이 모여 해당 콘텐츠의 목적, 성격, 주 시청 환경을 고려해 세부 기술 사양을 결정합니다. 이렇게 결정된 JMT의 간략한 납품 사양은 아래와 같습니다.
- 해상도/화면비 : 4096*1728/2.37:1
- 다이나믹 레인지 : Dolby Vision
- 색역 및 변환 함수 : ITU-R BT.2100 / SMPTE ST 2084 (PQ)
프로덕션 코디네이터는 [납품 기술 사양서]를 바탕으로 [촬영 기술 사양서]를 작성합니다. [촬영 기술 사양서]에서는 납품 기술 사양을 달성하기 위한 촬영본의 최소 해상도, 촬영 코덱, 촬영 색공간, 올바른 노출 확보를 위한 모니터링 지침 등을 정합니다. JMT의 경우 여러 기종의 멀티카메라를 사용하는 프로덕션 기간이 짧은 콘텐츠였습니다. 현장에서의 변수를 최대한 줄이기 위해 프리 프로덕션 기간에 준비해야 했습니다.
먼저, 사전에 정해야 하는 요소들을 정리했습니다.
- RED Gemini와 RED Komodo의 촬영본 기술 사양
- RED 카메라 고속 촬영에서 Timecode Generator 사용 테스트
- Dolby Vision 으로 제작하기 위한 현장 모니터링 세팅 및 노출 가이드
- XML라운드 트립에서 서로 다른 해상도의 소스 사용 시 우려되는 사이징 문제 테스트
위 항목들을 해결하는 것을 목표로 정보를 찾고 테스트를 진행했습니다.
1. REDCODE 압축비 결정하기
Dolby에서 권장하는 Dolby Vision을 제작하기 위한 촬영본 최소 사양은 12bit이며 16bit RAW를 권장하고 있습니다. 하지만 RAW의 압축비와 같은 세부 사양을 규정하고 있지 않습니다.
JMT는 각각 DSMC2 / DSMC3 바디인 RED Gemini와 RED Komodo를 혼용합니다. Wavelet 방식을 사용하는 DSMC2 RED Gemini는 DCT (Discrete Cosine Transform)방식을 사용하는 DSMC3 바디와 REDCODE 압축 방식과 표기법이 다릅니다. DSMC2는 3:1 / 5:1 / 8:1 / … / 22:1 로 표기하는 반면 DSMC3는 HQ/MQ/LQ로 표기하며 설정 가능한 옵션의 수도 3가지로 훨씬 적습니다. 각 카메라의 촬영 스펙을 정하는 과정에서 RED Gemini의 압축비를 RED Komodo의 HQ/MQ/LQ 어떤 것과 대응해야 할지 사전 확인이 필요했습니다. 또한 RAW는 낮은 압축비를 사용하면 이미지 품질은 향상되지만 그만큼 저장 용량이 늘어납니다. 둘 사이의 적당한 지점을 찾아 우리만의 기준을 정해야 했습니다.
1.1. 자료 찾아보기
REDCODE의 압축비 별 품질 차이를 보기 위해 여러 테스트 자료를 찾았습니다.
아래는 Gemini와 동일한 wavelet 방식을 사용하는 DSMC2 카메라인 RED Raven을 압축비 별로 감도를 높여가며 품질을 테스트 한 영상입니다.
이 테스트 영상에서 RED Raven은 압축비가 높을수록 같은 감도의 낮은 압축비보다 해상력이 떨어지고 크로마 노이즈가 증가하는 경향성을 보입니다.
1.2. 인물•소품 대상으로 테스트 촬영하기
이 테스트 영상을 보고 우리는 아래와 같은 가설을 세우고 직접 테스트했습니다.
- 압축비를 높일수록 육안으로 확인할 수 있는 이미지 품질 저하가 있을 것이다
육안 — 노이즈 • 해상력 • 색차 - 압축비를 높일수록 데이터 상 유의미한 이미지 품질 저하가 있을 것이다.
데이터 — Noise(dB) • DR
육안으로 확인할 수 있는 이미지 품질을 보기 위해 반도 스튜디오에서 인물•컬러차트를 대상으로 RED Gemini와 RED Komodo의 REDCODE 세팅 별로 촬영해 비교했습니다.
위 샘플에서도 볼 수 있듯이 잘 세팅된 환경에서 RED Gemini와 RED Komodo는 RED RAW 압축비 별 이미지 품질 차이는 육안으로 확인할 수 없었습니다.
1.3. 컬러차트로 테스트 촬영하기
이미지그룹 테스트실에서는 와이드개멋 컬러차트와 투과형 차트를 사용해 테스트했습니다. 앞서 스튜디오에서의 세팅 환경과 달리 각 RED RAW 압축비를 저노출•적정노출•과노출 상태에서 촬영해 이미지 품질을 육안으로 비교했습니다.
위 결과에서 저노출/적정노출/과노출에서 REDCODE의 육안으로 확인할 수 있는 유의미한 품질 차이는 없었습니다.
1.4. Noise • Dynamic Range 측정하기
데이터 상의 이미지 품질 차이를 보기 위해 이미지그룹 테스트실에서 투과형 차트를 사용해 Noise(dB)/DR을 측정했습니다.
본 테스트에서 사용한 TE269_V2 OECF 차트는 ISO 14524:2009 를 기준으로 만들어진 실험 규격 차트입니다. 1:1000000의 명암비, 20 F-stop의 밝기 차이를 갖는 36개의 패치에 빛을 투과하고, 투과된 빛을 카메라로 촬영하여 밝기에 대한 카메라의 감응을 측정합니다.
RED Gemini는 3:1~9:1 구간에서는 유의미한 노이즈 강도 변화를 볼 수 없었지만 9:1~22:1 구간에서는 압축비가 커짐에 따라 노이즈 강도도 증가하는 경향을 볼 수 있었습니다.
RED Gemini는 3:1~12:1 구간에서는 유의미한 DR 변화를 볼 수 없었지만 12:1~22:1 구간에서는 압축비가 커짐에 따라 DR이 오히려 증가하는 경향을 볼 수 있었습니다. 😅
RED Komodo는 오히려 HQ~LQ로 더 많은 압축을 할 수록 노이즈 강도가 약해졌습니다.
RED Komodo는 HQ~LQ로 더 많은 압축을 할 수록 DR이 감소하는 경향을 볼 수 있었습니다.
이 테스트 결과들을 종합해 데이터 랭글링 비용을 절감하고 적절한 화질을 얻을 수 있는 세팅을
- RED Gemini : 6:1~8:1
- RED Komodo : MQ
로 결정했습니다.
2. 후반에서 Dolby Vision으로 제작하기 위한 현장 모니터링 세팅 및 노출 가이드 준비
JMT는 Dolby Vision 제작이 계획된 콘텐츠였고, 현장에서는 SDR(rec709) 모니터링만 가능한 환경이었기 때문에, 촬영에 들어가기 앞서 Dolby Vision을 위한 소스를 어떻게 모니터링 할지가 관건이었습니다.
위 카메라테스트를 진행하면서 테스트 현장에 실시간으로 HDR 변환, 모니터링 가능한 현장색보정 장비를 설치하여 RED 카메라 내 ODT/LUT로 변환된 SDR과 비교했습니다.
또한 투과형 차트 저노출/정노출/과노출 촬영본을 HDR로 변환해 비교한 결과, HDR 제작에서는 과노출로 인한 하이라이트 클리핑이 더 치명적이었고, RED카메라에서 1~2 stop 저노출은 충분히 복구 가능하다는 것도 알 수 있었습니다. 강한 태양광이나 역광 같은 하이라이트 클리핑이 생기는 환경에서는 1~2 stop 낮은 노출로 촬영하는 것이 유리하다는 것을 유추할 수 있었으며 이 결과를 바탕으로 다양한 유형의 촬영 환경에서 노출 가이드를 준비했습니다.
3. RED 카메라의 촬영 해상도/화면비 별로 이미지 영역이 달라지는 문제
RED 카메라는 고해상도의 센서를 필요 영역만큼 크롭해 사용하는 방식으로 촬영 해상도/화면비를 조절합니다. 낮은 해상도를 선택할수록 사용하는 센서 영역이 작아지는데, 이는 렌즈의 선택부터 촬영된 이미지의 화각, 거리감 등 연출의 영역에도 영향을 미치기 때문에 사전 확인이 필요했습니다.
35mm 렌즈 화각에서 RED Gemini / RED Komodo의 세팅 가능한 해상도와 화면비 별로 샘플을 촬영해 촬영감독님/피디님들과 소통할 수 있도록 준비했습니다.
4. XML 라운드 트립에서 서로 다른 해상도의 소스 사용 시 우려되는 사이징 문제
JMT는 예능 장르 특성 상 후반에서 디지털 줌, 크롭이 많이 사용될 것으로 예상되었습니다. 그러나 5K의 RED Gemini 촬영본과 6K의 RED Komodo 촬영본, 4K의 Panasonic S1H 촬영본을 사용하는데, 이렇게 서로 다른 해상도의 촬영본에 Motion Effects(Scale, Position, Rotate, Crop, Anchor Point) 조정을 해도 Premiere Pro에서 Davinci Resolve로 XML을 통해 Motion Effects 정보가 잘 전달되는지, 전달되지 않는다면 해결 방법을 찾으려 했습니다.
“Premiere Pro 와 Davinci Resolve 의 Image Scaling 설정을 일치시키면 Motion Effects 조정 정보는 촬영 소스 해상도와 관계없이 xml을 통해 올바르게 Davinci Resolve에서 구현될 것이다.” 라는 가설을 바탕으로 다양한 해상도의 촬영본을 4096*1728 해상도 시퀀스 상에서 Image Scaling 설정 / Motions Effects 조정을 바꿔가며 비교했습니다.
4.1. Scaling 설정
4.2 Motion Effect 조정
비교 결과 서로 다른 해상도의 촬영본을 사용하더라도 Premiere Pro에서 “Set to frame size”, Davinci Resolve에서 “Center crop with no resizing”으로 설정하면 Scale(줌인, 줌아웃), Position(패닝, 틸팅), Rotate 위주로 조정할 경우 xml 라운드트립으로 진행 가능하다는 결론을 얻을 수 있었습니다.
애니메이션 키프레임도 대부분 xml로 데이터가 잘 넘어오는 편이지만, 가변 가속도를 표현한 키프레임 애니메이션은 무시되었습니다.
다음 편으로 3부 “프로덕션” 편이 이어집니다.
