Wat is eXtend?
Thomas More Research startte in november 2020 met het onderzoeksproject, genaamd eXtend. Met dit onderzoek wil Thomas More, in samenwerking met MediaNet Vlaanderen en Vlaio, de Vlaamse broadcastsector tools geven om nieuwe XR-technologie te omarmen. De focus binnen eXtend ligt op vernieuwende en democratische XR-technologie die geïmplementeerd kan worden in het productieproces. We kijken naar technologieën zoals: motion capture, face capture, 2D en 3D avatars, 360 graden multicam captatie, virtual production, fotogrammetrie, 3D rigging, LiDAR scanning, …
Inleiding
Tijdens de verschillende piloten in jaar één hebben we expertise en vertrouwen opgebouwd om in jaar twee uit te pakken met één grote eindpiloot. De hoofdvraag voor deze eindpiloot is: hoe kunnen we verschillende XR-technologieën inzetten in een echte TV-productie.
We komen tijdens de uitvoering van deze piloot volledige los van de veilige onderzoekscontext waar falen een deel van het proces mag zijn. De gebruikte XR-technologieën moeten m.a.w. tijdens de opnames betrouwbaar werken én broadcastwaardige kwaliteit produceren.
Voor deze piloot moeten we op zoek gaan naar 1) XR-technologieën die mogelijks zorgen voor een verhoogde beleving bij de kijker 2) performante en betrouwbare XR-technologieën die we op set kunnen implementeren en 3) manieren om postproductiewerk te verschuiven naar preproductie en productie (bv. door het gebruik van live AR-elementen in camera).
Na verschillende brainstromsessie met de eXtend begeleidingsgroep kwamen we tot het idee, om samen met onze partner Sputnik, een kinderspelprogramma uit te werken. We vertrokken vanuit een bestaand format dat zou dienen als ruggengraat van dit nieuwe kinderprogramma. Samen met Sputnik gaven we dit format een stevige facelift. ‘De Hacker’ was geboren!
Vanuit onderzoeksperspectief vormde De Hacker het ideale vehikel om een antwoord te vinden op onze onderzoeksvraag: “hoe kunnen we verschillende XR-technologieën inzetten in een echte TV-productie? “
Format briefing
Voordat we de onderzochte XR-technologieën verder uiteenzetten is het belangrijk om beknopt de contouren van het format te belichten. De volledige uitwerking van het format, presentatieteksten, look and feel, tone of voice,… vallen buiten deze case study en is door onze partner, Sputnik ontwikkeld.
In De Hacker nemen twee teams (een blauw en een rood team) van twee kinderen het tegen een hacker op. Deze hacker veroorzaakt tal van problemen in het Natuurhistorisch museum te Brussel. Aan de hand van verschillende proeven (met XR-technologie) kunnen de teams hints verzamelen die hen dichter bij de ware identiteit van de hacker zullen brengen. Na elke proef volgt er een eliminatieronde. Tijdens deze rondes elimineren beide teams verschillende verdachten. Aan het einde van het spel volgt de laatste eliminatieronde waar de teams hun hoofdverdachte kunnen aanduiden. Het team dat de erin slaagt om de hacker te ontmaskeren wint het spel.
Vooronderzoek
Tijdens het vooronderzoek zijn we vertrokken vanuit de verschillende XR-technologieën die we in jaar één onderzochten. Door deze expertise hadden we bij aanvang van jaar twee een goed overzicht van verschillende XR-technologieën die mogelijks in aanmerking kwamen voor De Hacker. Deze fase kende verschillende vormen en gedaantes. Na verschillende brainstormsessies en kleinere testen selecteerden we uiteindelijk zeven XR-technologieën die we tijdens het vooronderzoek verder zouden testen.
1. Interactieve schermen
Sinds onze volumetric piloot in jaar één beschikten we over een aantal Azure Kinect camera’s. Deze camera’s kunnen naast volumetric captures ook skeleton tracking doen. Het leek ons interessant om deze technologie verder te testen en hierrond een proef te ontwerpen.
Tijdens het verdere onderzoek experimenteerden we met software van TouchDesigner. TouchDesigner staat de gebruiker toe om aan de hand van bestaande modules zelf een toepassing te ontwerpen.
De skeleton tracking data van de Azure Kinect camera werden als input gebruikt in TouchDesigner. Hierdoor konden we aan de slag gaan met deze data om een interactief scherm te ontwikkelen. Tijdens onze testen bleek de hardware en software combinatie zeer betrouwbaar te zijn.
Naar aanleiding van deze initiële testen en resultaten brainstormenden we met Sputnik over een mogelijke proef. We klopten uiteindelijk af op ‘De Veegproef’.
Tijdens de veegproef moesten de twee teams afzonderlijk van elkaar een code vinden. Door de skeleton tracking data te combineren met TouchDesinger konden we de handen van een speler gebruiken om delen van het scherm tijdelijk vrij te maken. Hierdoor konden de deelnemers stukken van een toegangscode bemachtigen. Zodra ze de volledige code hadden konden ze deze invoeren op een iPad en kregen ze toegang tot het museum.
2. HoloLens
Tijdens jaar één deden we onderzoek naar het gebruik van een AR-bril. Hiervoor werkten we met de HoloLens. Zodra men de HoloLens opzet ziet met de echte wereld met de mogelijkheid om AR-elementen toe te voegen, zo ontstaat er een augmented reality.
In het vooronderzoek zagen we verschillende mogelijkheden met deze AR-elementen. We konden een proef ontwikkelen door verschillende AR-objecten in een ruimte plaatsen. We vonden ook vrij snel AR-dinosaurussen die we konden gebruiken.
We ondervonden tijdens het vooronderzoek verschillende problemen i.v.m. het streamen en capteren van de beelden uit de bril. Na verschillende testen i.s.m. Sputnik bleek de beeldkwaliteit broadcastwaardig te zijn. Dit was een belangrijke vaststelling om met deze XR-technologie verder te gaan.
Door verder onderzoek te doen leerden we dat we de beelden best op de HoloLens opnamen. Daarnaast vonden we ook de mogelijkheid om de beelden van de HoloLens live te monitoren via de cast functie op de bril. Het resultaat van deze cast is sterk afhankelijk van de netwerkkwaliteit. We kwamen tal van problemen tegen en besloten daarom om tijdens de draaidag te zorgen voor ons eigen netwerk.
3. AR-boodschap
In de aanloop van jaar 2 deden we een piloot rond Olly Wannabee. Tijdens deze piloot capteerden we aan de hand van foto’s Olly Wannabee in 3D. Daarna konden we dit virtueel manipuleren en afspelen. Een van de outputs van deze piloot was een dansende Olly Wannabee in AR. We konden deze AR-Olly afspelen op verschillende toestellen (iPad, HoloLens, VR-bril, AR-element op set d.m.v. cameratracking). We zagen in deze XR-technologie heel wat mogelijkheden binnen het format van De Hacker.
Aan de hand van onze eerste testen zijn we gaan kijken hoe we een persoon konden filmen, daar motion data uit konden halen om zo een digitale avatar aan te sturen. Via Plask (software) konden we met de camerabeelden motion capture data generen. Deze data gebruikten we om een AR-avatar aan te sturen. Hierdoor werd het voor ons overbodig om met dure motion capture pakken of arbeidsintensieve animaties te werken. Motion capture pakken hebben zeker en vast hun plaats binnen broadcast, voor kleinere productie kunnen oplossingen zoals Plask echter een betaalbaarder alternatief bieden.
Tot slot hebben we onderzocht hoe we deze AR-boodschappen konden afspelen op verschillende toestellen (VR-bril, HoloLens, iPad, AR-element in camera,…). We deden dit vorig jaar voor Olly Wannabe d.m.v. Adobe Aero. Ook voor deze piloot kozen we voor de gemakkelijke applicatie van Adobe.
4. 3D object scanning — Infrarood
Een van de XR-technologieën waar we in jaar één volop me experimenteerden was het gebruik van fotogrammetrie en LiDAR scanning om objecten te capteren en in 3D weer te geven.
Tijdens een van de brainstormsessie kwam het idee naar boven om in het museum een fysiek object door elk team te laten scannen. Zo werd het fysieke object een virtuele sleutel die hen toegang zou geven tot de virtuele wereld van de hacker. Hiervoor experimenteerden we voornamelijk met de Azure Kinect camera en de RecFusion software. De combinatie van de gekozen hard- en software bleek zeer goed te werken met fijne resultaten tot gevolg.
Uiteindelijk sneuvelde deze piloot een aantal weken voor de draaidag. Niet omdat de technologie erachter niet performant was maar omdat deze proef niet meer paste in het format.
5. Fortnite dinoparcours
In de zoektocht naar een eindspel experimenteerden we een tijdlang met Fortnite. In deze virtuele wereld kan je zelf een wereld op maat bouwen. Daarnaast is het ook mogelijk om aan de hand van objecten, buttons, en actions, interactie te maken met de fysieke wereld. We bouwden met succes een virtuele wereld met dinosaurussen en hindernissen voor de verschillende teams. In onze Fortnitewereld vonden de spelers op verschillende locaties vragen. De antwoorden konden ze vinden in het museum.
Uiteindelijk sneuvelde deze proef omdat we vastliepen op het XR-gedeelte. We hebben gezocht naar manieren om dit bijvoorbeeld in VR te kunnen spelen of d.m.v. virtual production de beleving van de kijker te verhogen. Helaas zonder succes. Kill your darlings!
6. 360 foto’s in VR
Na het Fortnite experiment zijn we verder opzoek gegaan naar XR-technologieën waarmee we een interactief eindspel konden maken. In jaar één werkten we een tijd lang rond 360 graden video. We stelden toen vast dat de resolutie van video niet broadcastwaardig was. Wat toen wel naar voren kwam is het gebruik van foto’s. De resolutie van de 360 graden foto’s zou voor deze proef werkbaar kunnen zijn. Na enkele testen en overleg met Sputnik besloten we deze technologie verder in te zetten voor de eindproef.
We zijn 360 graden foto’s gaan maken in een bepaald deel van het museum. Achteraf zijn er verschillende objecten d.m.v. photoshop aan toegevoegd. De teams zullen op zoek moeten gaan naar de verschillen.
Een teamlid krijgt een VR-bril, het andere teamlid zal in het museum moeten verifiëren of b.v. de kangoeroe effectief bokshandschoenen draagt (spoiler: neen!). Tot slot wordt er ook gewerkt met een tijdsdruk, de wereld brokkelt af naar mate de tijd verstrijkt.
7. Gebruik van camera tracking op set
Een van de speerpunten van eXtend is het gebruik van virtual production. We hebben verschillende piloten gewijd aan deze XR-technologie en geloven sterk in de toekomst van deze XR-technologie. Om virtual production te gebruiken moet je beschikken over cameratracking. We investeerden in jaar één in het systeem van AntiLatency. Dit is een modulair en mobiel systeem waarmee we perfect op locatie kunnen gaan. De grote test is de performantie van dit systeem op set tijdens een draaidag. We kozen ervoor om met twee AR-elementen te werken op set. We willen proberen een AR-eliminatiescherm in beeld te brengen en daarnaast de onthulling van De Hacker. Deze AR-beelden werden vooraf gemaakt in onze studio (zie vooronderzoek 3).
Er werd tijdens het vooronderzoek hard gewerkt om dit systeem 1) op locatie op te bouwen en 2) het betrouwbaar te kunnen gebruiken tijdens de opnames.
Conclusie vooronderzoek
We zijn tijdens het vooronderzoek vertrokken vanuit de opgebouwde expertise van jaar één. Deze expertise zorgde ervoor dat we relatief snel een aantal interessante XR-technologieën konden identificeren. Vanuit deze XR-technologieën zijn we vertrokken om i.s.m. Sputnik verschillende proeven te ontwerpen.
We hebben vastgesteld dat het vaak mogelijk is om bepaalde elementen van een XR-technologie te matchen met andere. Dit zorgt voor enorme creativiteit binnen het ontwikkelen van verschillende proeven alsook het inzetten van verschillende types van content in broadcast (b.v. het gebruik van AR-content).
Zo kan je de Azure Kinect camera gebruiken voor volumetric capturing maar kan je deze camera ook gebruiken om aan skeleton tracking te doen. Deze mogelijkheden in combinatie met software (zoals TouchDesigner) zijn enorm.
We stelden ook vast dat de AR-elementen die we creëerden op verschillende manieren inzetbaar zijn. Zo kunnen we dezelfde AR-elementen gebruiken op verschillende toestellen (iPad, HoloLens en VR-bril). Door cameratracking te gebruiken kunnen we AR-elementen live tracken en in camera capteren en dit alles op locatie (!). Dit zorgt voor een grote verschuiving in het globale productieproces. Het werk om deze AR-elementen te creëren en toe te voegen gebeurt traditioneel tijdens de postproductie. Tijdens De Hacker konden we dankzij het gebruik van deze XR-technologie het postproductieproces vergemakkelijken. Veel van het traditionele postproductiewerk werd nu doorgeschoven naar preproductie en productie.
Tot slot zorgt deze XR-technologie ook voor een sterkere beleving op set. Beide teams én de volledige crew zien De Hacker op verschillende toestellen. De beleving van de deelnemers, presentatrice en cameramensen op set wordt hierdoor enorm versterkt.
Naast bovengenoemde learnings kwamen we samen met Sputnik tot nog een belangrijke vaststelling: het is mogelijk om met nieuwe XR-technologieën te werken in een competitieve broadcastomgeving. Door tijdens het vooronderzoek doorgedreven onderzoek te voeren, slaagden we erin om met relatieve zekerheid een parcours samen te stellen dat technisch zou moeten werken op set.
Tot slot stelden we opnieuw vast dat er een enorme acceleratie is in het XR-landschap. Hard- en software evolueren razendsnel en dat zorgt ervoor dat bepaalde processen sneller, (soms) makkelijker en performanter worden. The (XR)future looks bright!
Draaidag De Hacker
Na maanden van testen, falen, slagen, gedetailleerde planningen, meetings en opnames was het op 29 augustus eindelijk zover: de draaidag van De Hacker!
Na ons initieel vooronderzoek zijn we aan de slag gegaan om de geselecteerde proeven en de achterliggende XR-technologieën helemaal klaar te stomen voor 29 augustus. De inzet was uiteraard stevig: de opnames van een broadcastwaardig Tv-programma. Alle schakels moesten op deze dag correct werken, zodat we de hele draaidag op schema konden houden met een broadcastwaardig product als resultaat.
In de weken voor de draaidag deden we op de Thomas More Campus verschillende dry-runs. Deze bleken cruciaal te zijn om de laatste problemen te detecteren en op te lossen. Gezien de complexiteit van de verschillende XR-technologieën was dit een absolute must. Daarnaast gebruikten we deze dry-runs ook om een technisch draaiboek samen te stellen. Zo konden we tijdens de draaidag alles stapsgewijs uitvoeren en checken.
Setup
Om 7u45 kwamen alle ploegen aan in het Natuurhistorisch museum te Brussel. Dankzij de zeer gedetailleerde planning van Sputnik, de minutieuze voorbereiding en het technisch draaiboek konden we vlot starten met de opbouw van de proeven. In de voormiddag lag onze focus op de eerste twee proeven. Deze proeven waren operationeel in een uur tijd waardoor we snel konden starten met de opnames. Tijdens de opnames van proeven 1 en 2 konden we met een deel van het team proef 3 en het virtual production gedeelte opbouwen.
De verschillende proeven waren verspreid over het museum, hierdoor konden we gemakkelijk in kleinere teams werken om volgende proeven klaar te maken. We moesten natuurlijk rekening houden met het feit dat we extra materiaal nodig hadden om verschillende proeven simultaan op te kunnen zetten (o.a. voldoende computers).
Proef 1: interactieve schermen — kraak de code
De proef
Tijdens de eerste proef moeten de twee teams zo snel mogelijk proberen toegang te krijgen tot het museum. Ze kunnen toegang krijgen door de juiste code in te voeren op een iPad. Deze code vinden ze door het aantal gekleurde dinosaurussen te tellen (x-aantal blauwe, groene en rode dinosaurussen). De hacker heeft er echter voor gezorgd dat deze dinosaurussen niet zomaar te zien zijn. De teams zullen hun handen moeten gebruiken om delen van het scherm tijdelijk vrij te geven.
De technologie achter deze proef is een combinatie van de Azure Kinect camera’s en de software TouchDesigner. De skeleton trackingdata wordt gebruikt om delen van het scherm tijdelijk vrij te geven waarbij de deelnemers stukken van de code kunnen zien. TouchDesigner stelde ons in staat een zelfgemaakte video te gebruiken waar de dinosaurussen met verschillende kleuren door lopen en vliegen. Over deze video plaatsen we een tweede video van de hacker. In TouchDesigner kunnen we bepalen hoeveel van de eerste video zichtbaar wordt naargelang de input van de skeleton trackingdata.
Op set gebruikten we per team één laptop, één Azure Kinect camera en één groot Tv-scherm. Er is relatief weinig rekenkracht nodig om deze setup te kunnen draaien waardoor het zeker volstaat om een laptop te gebruiken. Deze setup is dus relatief bescheiden en mobiel hetgeen onze timing alleen maar ten goede kwam.
Strength
De mogelijkheden van enerzijds de Azure Kinect camera en anderzijds TouchDesigner, zijn quasi eindeloos. TouchDesigner is een Zwitsers zakmes waarbij je applicaties op maat kan maken.
Het hele systeem werkte tijdens de opnames zeer goed. Zo draaide TouchDesigner zeer stabiel en ondervonden we geen technische problemen tijdens de opnames. De camera’s en software zijn makkelijk op te zetten en werken feilloos samen.
Weakness
Tijdens onze testen waren we bezorgd over het feit dat de Azure Kinect camera meerdere personen simultaan kan tracken. Dit zou mogelijks kunnen zorgen voor verwarring in TouchDesigner. De skeleton trackingdata van de cameraman zouden bv. het inputsignaal kunnen worden i.p.v. die van de deelnemer. Na verder onderzoek leerden we dat het volstaat om de camera tijdelijk af te dekken, de deelnemer alleen voor de camera te plaatsen en dan het spel te starten. Zodra het systeem de speler detecteert maakt het niet uit wie in de field of view van de Azure Kinect camera loopt.
Opportunities
We geloven zeer sterk in de combinatie van de hard- en software in deze proef. We konden heel vlot onze proef maken met TouchDesigner omdat het zoveel mogelijkheden biedt.
Hetzelfde geldt voor de Azure Kinect camera. Gedurende het hele onderzoek hebben we deze camera voor verschillende piloten kunnen inzetten.
Tot slot zien we ook verdere mogelijkheden in de vorm van line-extensie. Deze proef werd goed onthaald door de deelnemers én het museum. Deze opstelling zou b.v. gebruikt kunnen worden om een interactieve beleving aan te bieden in het museum.
Proef 2: HoloLens — zoek de 3D dinosaurussen en los de vragen op
De proef
Tijdens deze proef zullen beide teams om beurt de HoloLens opgezet krijgen. Eén deelnemer moet op zoek gaan met de HoloLens naar 3D dinosaurussen. Boven deze 3D dinosaurussen vinden ze een vraag. Het andere teamlid moet op zijn/haar beurt op zoek gaan naar het antwoord op deze vraag. Het team met de meeste juiste antwoorden en de snelste tijd wint deze proef en krijgt een aantal hints. Deze hints zullen hen helpen om de hacker te ontmaskeren.
We werkten voor deze proef met één HoloLens en een monitoring laptop. Beide toestellen werden aangesloten op hetzelfde netwerk (dit netwerk zetten we specifiek op voor deze proef). Tijdens de setup werden er drie 3D dinosaurussen verspreid over de grote dinohal. Deze 3D modellen werden tijdens de ontwikkeling aangekocht en aangepast. Boven elke 3D dinosaurus werd er in samenspraak met Sputnik een vraag gezet.
Strenght
De nieuwe HoloLens leent zich veel beter om in een broadcastomgeving te gebruiken. Zo is vooral de field of view en de beeldkwaliteit sterk verbeterd t.o.v. de vorige versie. Dit zorgt ervoor dat deze technologie goed inzetbaar is in een broadcastomgeving.
Het plaatsen van objecten in een ruimte werkt ook zeer goed. Zodra de 3D objecten geplaatst zijn onthoudt de HoloLens, ook na uitschakeling van het toestel, de locatie van deze 3D objecten.
Verder is de beleving voor de drager van de HoloLens indrukwekkend. Je wordt door deze technologie helemaal meegenomen in het verhaal. De deelnemers waren erg enthousiast, hetgeen voor leuke beelden op Tv zorgt.
Weakness
We hebben verschillende testen gedaan om de beelden stabiel te kunnen monitoren en op te nemen. Dit blijft tot op vandaag een aandachtspunt.
Naast de mogelijkheid om de beelden op de HoloLens op te nemen kan je deze ook live casten naar een ander toestel (b.v. een laptop). Tijdens de opnames casten we de beelden naar een laptop. Hierdoor krijgt de regisseuse zicht op de beelden die uit de HoloLens komen. We ondervonden helaas op de draaidag wel wat problemen met de cast functie. Ondanks dat we met ons eigen netwerk werkten, vielen de beelden toch soms uit. Gelukkig wisten we uit ons onderzoek dat de beelden op set zonder onderbrekingen op de HoloLens gecapteerd werden.
Opportunities
Ondanks het feit dat de beelden broadcastwaardig zijn hopen we dat er in de toekomst verder gewerkt wordt aan de field of view en de beeldkwaliteit. We geloven sterk in de capaciteiten van de HoloLens en hopen dat de volgende iteraties nog meer ingang zullen vinden in de broadcastsector.
Zoals in proef 1 zien we ook hier verdere mogelijkheden rond line-extensie. Het enthousiasme bij de deelnemers toonde aan dat de HoloLens de beleving verhoogde.
Deze opstelling zou gebruikt kunnen worden om een interactieve beleving aan te bieden in het museum.
Proef 3: VR-bril — vind de 7 verschillen
De proef
De laatste proef maakt gebruik van 360 graden foto’s en een VR-bril. Tijdens deze proef moet elk team afzonderlijk proberen zoveel mogelijk verschillen te vinden. Eén teamlid zal de VR-bril opzetten. Zodra hij/zij de VR-bril opzet zal hij zich in het virtuele museum bevinden. Hier ziet hij/zij een setting die te vinden is in het echte museum maar er zijn door de hacker verschillende objecten toegevoegd. Door goed te communiceren kunnen ze samen de verschillen achterhalen. Spoiler alert, de kangoeroe draagt geen bokshandschoenen!
Voor deze proef maakten we gebruik van de Insta Pro. Deze 360-camera kan hoge resolutie foto’s maken. Het eXtend team is op voorhand met de Insta Pro naar het Natuurhistorisch museum getrokken om daar op drie verschillende locaties 360 graden foto’s te maken.
Eens de beelden, door de Insta Pro gestiched waren werden er verschillende objecten bij gefotoshopt. Nadien werd er ook gekozen om deze virtuele omgeving traag te laten afbrokkelen tot een Matrix-achtige omgeving. De hacker zat hier natuurlijk voor iets tussen…
Van alle proeven die we doen is dit technisch de eenvoudigste. Dit neemt niet weg dat het een hele waardevolle proef is voor het format. De beleving bij de deelnemers is zeer sterk en dit vertaalt zich natuurlijk naar mooie Tv.
Strength
Aangezien VR-brillen en 360 graden content niet meer nieuw zijn is deze technologie betrouwbaar en matuur. Door de toegankelijke Adobe software kan je makkelijk in 360 graden beelden fotoshoppen.
Daarnaast zorgt deze technologie ook voor een sterke beleving bij de deelnemers.
Weakness
Eén van de moeilijkheden die we tegenkwamen was het gebruik van een bekabelde VR-bril. Om ervoor te zorgen dat de kwaliteit in de bril zo goed mogelijk is én om de beelden van de drager op computer te capteren kozen we voor deze bril. De computer moest dus vrij dicht bij de bril staan. Indien mogelijk hadden we de locatie waar de VR-bril gebruikt werd wat verschoven maar dit was niet mogelijk omdat we anders de computer in beeld zouden zien.
Opportunities
Deze technologie is zodanig matuur dat het bijna plug and play is. Ook content creëren voor een VR-bril is relatief simpel geworden. Het is dus perfect mogelijk om deze technologie in andere omstandigheden vlot in te zetten.
Net zoals bij de voorgaande piloten zien we hier verdere mogelijkheden in rond line-extensies. Zo zou er b.v. een VR-spel gemaakt kunnen worden rond de hacker.
Virtual production — AR-Eliminatie
De proef
Zoals al eerder aangegeven zijn we binnen het eXtend team sterke believers in het gebruik van virtual production. Het spreekt voor zich dat we deze technologie absoluut op set wilden toepassen. In samenspraak met Sputnik onderzochten we de piste om verschillende AR-elementen live op set te filmen. Voor Thomas More Research en Sputnik was dit een zeer interessante case.
1) Het AR-eliminatiescherm
Na elke proef mogen de deelnemende teams een verdachte elimineren. We kozen ervoor om onze virtual production setup hiervoor te gebruiken. Het doel was om het AR-eliminatiescherm live te gebruiken zodat de deelnemers tijdens de eliminatie het AR-scherm live konden zien op een monitor buiten beeld. Daarnaast konden de cameramensen tijdens het filmen het AR-eliminatiescherm zien.
De deelnemers kozen een verdachte die ze elimineerden, hierdoor kleurde deze mogelijke hacker rood en viel hij/zij af.
2) De AR-onthulling
Na afloop van de laatste eliminatie komt de hacker in dinovorm tevoorschijn. Hij staat naast de presentatrice en spreekt de kandidaten toe. Terwijl hij spreekt vervaagt de virtuele vermomming totdat we duidelijk zien wie de hacker is. Opnieuw konden zowel de deelnemers als de cameramensen dit live zien waardoor er meer interactie mogelijk werd.
Voor beide toepassingen maakten we gebruik van ons mobiel trackingsysteem. We deden zowel in jaar één als in jaar twee verschillende piloten met dit systeem (bv. de Yolotanker en Stijn Van De Voorde testcase). Deze mobiele virtual production setup is een combinatie van AntiLatency tracking, Aximmetry software en Unreal Engine. D.m.v. de trackingdata kunnen we in realtime de positionele data van de camera capteren en doorsturen naar Aximmetry en achterliggend Unreal Engine. Binnen Aximmetry kunnen we, naast kalibratie van het systeem, verschillende toepassingen kiezen. Zo wordt het mogelijk om snel en eenvoudig AR-elementen zoals het AR-eliminatiescherm en de AR-onthulling aan te sturen.
Om de opnames zo vlot mogelijk te laten verlopen kozen we ervoor om onze vaste camera (URSA Mini Pro 4.6K) te gebruiken. Deze camera is standaard gekalibreerd binnen onze virtual production setup. Het zou mogelijk zijn om met andere camera’s en lenzen te werken maar op set betekende dit een onbekende factor. Aangezien we op schema moesten blijven konden we het ons niet veroorloven om het hele kalibratieproces opnieuw te doorlopen.
Strength
We geloven enorm in de toepassing van virtual production in broadcast. De mogelijkheden zijn quasi eindeloos. Je kan van een volledig virtuele omgevingen tot en met specifieke AR-elementen gaan.
De sterkte van onze virtual production setup is 1) de mogelijkheid om het modulair op te bouwen naar gelang de noden op set en 2) de volledige setup past in een doos die te vervoeren is in een kleine auto.
Tot slot kan je deze setup ook verder uitbreiden met meer trackers om objecten in set te tracken of meerdere camera’s te tracken.
Weakness
De kalibratie van het systeem en de camera is lang een van de pijnpunten geweest. Hier zijn een aantal oplossingen voor ontwikkeld door Aximmetry waardoor we nu veel minder problemen ondervinden.
Tijdens de opnames werden we geconfronteerd met een probleem dat we tot dan toe nog niet hadden meegemaakt. We filmden deze hele sequentie in een hal waar de temperatuur erg hoog was (o.a. door de glazen constructie en een warme zomerdag). Door de hoge temperatuur hadden we problemen met de tracker op de camera. Door oververhitting kregen we last van drifting op de camera. Ons AR-element ging langzaamaan naar een bepaalde kant. Uiteindelijk besloten we een nieuwe tracker te proberen en deze loste het probleem lang genoeg op om te kunnen filmen.
Opportunities
De mogelijkheid om van AR-elementen tot volledige virtuele sets te kunnen filmen in de studio én op locatie heeft grote implicaties voor een productie. We hebben een heel deel werk uit postproductie kunnen verschuiven naar preproductie. Dit zorgt er mee voor dat je op voorhand zicht krijgt op bepaalde stilistische keuzes. Zodra de opnames klaar waren moest er geen VFX werk meer gebeuren op deze beelden. Ook zagen we dat de beleving voor de deelnemers verhoogd werd. Ze stonden oog in oog met de hacker en moesten dus niet acteren. De cameramensen kon goed inspelen op deze interactie omdat ook zij deze beelden zagen op hun camera.
Verder zien we tal van mogelijkheden om deze XR-technologie verder te gaan implementeren binnen verschillende types van contentproductie.
Van een kleine mobiele setup om live op locatie AR-elementen te tracken en te filmen tot en met grote dramaproducties waarbij men een heel LED-volume gebruikt en alles daartussen. De mogelijkheden van virtual production zijn enorm. Van alle andere onderzochte XR-technologieën geloven we het meeste in de mogelijkheden van virtual production.
Zoals bij alle voorgaande XR-technologieën zien we ook hier mogelijkheden om line-extensies uit te werken. Je kan de AR-hacker binnen verschillende applicaties en contexten gaan hergebruiken. Hierdoor zou men, net zoals alle voorgaande line-extensies de levensduurte van het format kunnen verlengen en zou het op economisch vlak verschillende voordelen kunnen hebben.
Conclusie De Hacker
In eerste instantie kunnen we na het afronden van deze piloot vaststellen dat het mogelijk is om XR-technologieën in een broadcastomgeving in te zetten. We hebben kunnen aantonen dat deze vernieuwende technologieën 1) inzetbaar zijn tijdens een Tv-productie, 2) een verhoogde beleving bieden, 3) geëvolueerd zijn in de kwaliteit van de output waardoor ze gebruikt kunnen worden in een broadcastomgeving. Tot slot bieden deze XR-technologieën economische perspectieven in de vorm van nieuwe line extensies.
Door De Hacker stelden we vast dat er een aangepaste werkwijze nodig is om dit soort producties tot een goed eind te brengen. Veel van de klassieke methodes en principes blijven echter intact.
1) Pre-productie
Tijdens de pre-productiefase is er zeer hard gewerkt om de gekozen XR-technologieën klaar te stomen. De betrouwbaarheid en performantie van de XR-technologieën op de draaidag waren uitermate belangrijk om de hele productie op schema te houden.
Naast al het werk om zeker vlot te kunnen werken tijdens de draaidag, zijn er in de pre-productiefase ook tal van stilistische keuzes gemaakt. Er waren verschillende grafische elementen die we op voorhand moesten vormgeven. Gaande van de hacker tot het eliminatiescherm, de onthulling en de grafische vormgeving van de verschillende proeven. Dit type van werk zou in een traditionele productie in de postproductie fase plaatsvinden.
Deze verschuiving van postproductie naar preproductie zorgde ervoor dat iedereen tijdens de productie helemaal mee was in het verhaal van de hacker. De deelnemers konden hem zien, horen en door AR-elementen bijna voelen. Daarnaast konden de cameramensen in realtime de grafische input zien. Tijdens de eliminatierondes zagen ze op de camera waar het eliminatiescherm stond en tijdens de onthulling konden ze de transformatie van de hacker naar de echt persoon zien gebeuren in de camera.
De implicaties van deze verhoogde beleving op set zijn belangrijk. Er ontstaat meer interactie door de deelnemers en de crew, hetgeen zich vertaalt in sterkere beelden en dus sterkere content.
Naast al het werk rond de XR-technologieën vergde deze productie ook, net zoals andere producties, een goed uitgewerkte planning. Hiervoor konden we gelukkige terugvallen op het team van Sputnik. Dankzij de gedetailleerde planning en alle input van Sputnik beschikten we tijdens de draaidag over een realistische planning.
2) Productie
Door het gebruik van de verschillende XR-technologieën op de set van De Hacker waren we uiteraard benieuwd (en toch ook wel gezond nerveus) of we ons konden houden aan de vooropgestelde planning. We hadden afspraken met het Natuurhistorisch museum dat we van 8u tot 18u mochten filmen.
Na maanden van prep-werk, dry-runs, planningen, vergaderingen, draaiboeken, konden we na afloop van de draaidag vaststellen dat al dit werk geloond had. De woorden ‘it’s a wrap’ weergalmden door het museum om 18u05, slechts 5 minuten over tijd.
Het belang van een uitvoerige pre-productiefase kan niet genoeg benadrukt worden. Tijdens de draaidag kenden we slecht één technisch probleem. Er was echter voldoende tijd ingecalculeerd om hier vlot mee om te kunnen. Daarnaast kon er door het technische team ook snel geschakeld worden om dit relatief snel te verhelpen.
3) Postproductie:
Na afloop van de draaidag werden de beelden ingeladen om zo te kunnen starten met de postproductiefase.
Veel van het traditionele postproductieproces bleef natuurlijk ongewijzigd. De grootste verandering die we in het postproductieproces zagen is de verschuiving van VFX/grafisch werk. In een traditionele productie zou men pas in deze fase starten met de hacker, het eliminatiescherm, de grafische elementen in de proeven en de gebruikte greenkeys vorm te geven. Omdat we dit tijdens de pre-productiefase deden viel er dus veel tijdrovend werk weg. De postproductie werd dan ook vroeger beëindigd dan initieel gepland.
Feedback Sputnik
Rutger Beckers — producent
We overschatten als mens steeds de impact van nieuwe technologie op korte termijn, maar we onderschatten evenzeer vaak de impact op lange termijn. Onze inschatting is dat dit ook het geval is bij XR technologieën.
Voor Sputnik is XR-productie een zeer interessant gegeven, al is het geen doel, maar eerder een middel waarmee we verrassende en vernieuwende storytelling en visuele belevingen kunnen (blijven) brengen. Productietechnologie is altijd in evolutie. Waar we het afgelopen decennium de democratisering van de prijzen van camera’s en andere productie- en postproductie technologieën hebben gezien, staan we volgens ons nu voor een revolutie op het vlak van XR. Wij willen dat als productiehuis met oog voor innovatie dan ook kort opvolgen.
Samenwerkingen met partijen als Thomas More en andere Vlaamse mediaspelers is daarbij zeer waardevol. Ervaring opdoen via tests als De Hacker is enerzijds zeer leerrijk, en het helpt anderzijds ook mensen te enthousiasmeren en te inspireren. Een geslaagde missie wat ons betreft.
Cedric Tybaert — productiemanager
Als producer zoeken we steeds naar nieuwe manieren om onze projecten extra cachet te geven of om ons werk te verlichten en de productie vlotter te laten verlopen. Dankzij de vraag van Thomas Moore kregen we een mooie inzage in hoe XR-technologie en televisie hand in hand kunnen gaan.
Het was voor ons de allereerste keer dat we effectief met XR in contact kwamen op draaidag en in de voorbereiding. Dat is altijd even zoeken in het begin, hoewel we doorheen de productieperiode vrijwel meteen de voordelen hiervan konden inschatten.
Dankzij het gebruik van XR konden we niet enkel nieuwe spelelementen introduceren, we hebben daarbovenop veel tijd kunnen winnen in post-productie. We kijken bij Sputnik reikhalzend de toekomst tegemoet en kunnen niet wachten om deze tech vaker te kunnen of mogen gebruiken.
Lukas Leenaerts — redacteur
Voor mij was het ook een heel aangename samenwerking.
De technologieën waren op veel vlakken een inhoudelijke verrijking. Leuk om na te denken over hoe we de verschillende proeven vorm kunnen geven en de technologie best benutten. Uiteraard had het allemaal ook zijn beperkingen waardoor er iets meer heen en weer gepingpongd werd dan bij een ‘normale’ productie om af te toetsen of wat we bedacht hadden ook uitgevoerd kan worden.
