Wat is eXtend?
Thomas More Research startte in november 2020 met het onderzoeksproject genaamd eXtend. Met dit onderzoek wil Thomas More in samenwerking met MediaNet Vlaanderen en Vlaio de Vlaamse broadcastsector tools geven om nieuwe XR-technologie te omarmen. De focus binnen eXtend ligt op vernieuwende, democratische XR-technologie die geïmplementeerd kan worden in het productieproces. We kijken naar technologieën zoals: motion capture, face capture, 2D en 3D avatars, 360 graden multicam captatie, virtual production, fotogrammetrie, 3D rigging, LiDAR scanning, …
Inleiding
Na verschillende piloten in jaar 1 rond motion- en face capture viel ons oog op fotogrammetrie. We wilden namelijk graag kijken als het mogelijk was om fysieke objecten virtueel na te maken en dit 3D-model aan te sturen met motion en face data.
Fotogrammetrie is een techniek waarbij men foto’s en/of filmpjes maakt van een stilstaand object. Op basis van herkenningspunten zal de fotogrammetrie software met behulp van triangulatie de 3D coördinaten bepalen van het object. Op basis van deze coördinaten maakt de software een 3D-model van het fysieke object.
Daarnaast waren we erg geïnteresseerd om te kijken als het mogelijk was om dit object te voorzien van een virtueel skelet (riggen). Mochten we hier in slagen kunnen we dit object aansturen met motion capture data.
Al snel vonden we een geschikte case: de ietwat brutale kindervriend, Olly Wannabe!
Olly Wannabe was voor ons een goede case study omwille van drie factoren: 1) de echte pop kost al snel een kleine 10.000 euro. Vanuit een economisch standpunt kan het dus interessant zijn om het gebruik van de echte pop te beperken tot het hoogste noodzakelijke. 2) Met een 3D-model zijn er verschillende line extensions mogelijk (Digitale avatar, games, face filters, …). 3) Tot slot waren er ook nog twee technische voordelen. Olly Wannabe bestaat uit drie aparte delen: a. hoofd, b. romp + armen en c. benen + schoenen. We kunnen dus alle delen afzonderlijk en in groot detail fotograferen. Het tweede technische voordeel is het feit dat. Olly Wannabe gemaakt is uit bepaalde materialen die veel textuur bevatten en niet reflectief zijn. Dit zijn twee essentiële factoren die onze scans alleen maar ten goede komt.
Een van de mogelijke aandachtspunten zijn de gebruikte stoffen op sommige plaatsen (bv. het haar). Hier zullen we dus extra aandacht aan moeten besteden.
Vooronderzoek
Vooraleer we aan de slag gingen met de echte Olly Wannabe pop was het belangrijk om eerst het fotogrammetrie proces volledig in de vingers te krijgen. Daarnaast moesten we ook leren begrijpen welke factoren allemaal invloed hadden op de output.
Waar de fotogrammetrie software gevoelig voor? Is het nodig om extra licht te plaatsen? Is het nodig om het object in een void (zwarte doeken om het object in een ruimte te zetten zonder andere herkenningspunten) te plaatsen? Neem je foto’s van dichtbij of veraf? Of een combinatie?
Er waren meer dan voldoende vragen om mee aan de slag te gaan.
Grogu
Tijdens onze eerste kleine testen kozen we voor een pop, Grogu met gelijkaardige kwaliteiten als die van Olly Wannabe (veel textuur en niet reflecterend stof).
Na ons deskresearch kozen we ervoor om met de fotogrammetrie software Reality Capture te werken. Deze software kan zowel met foto’s als video’s werken, is bovendien gemakkelijk te gebruiken en tot slot betaal je enkel als je 3D model wilt exporteren. Je kan Reality Capture gratis gebruiken tot op het moment dat je tevreden bent met het 3D model. Eens je tevreden bent betaal je per input (PPI). Ter illustratie: een 3D-model met 300 foto’s van elk 15 megapixel kost slechts $2.81. Meer info over de pricing van Reality Capture vind je op deze link.
We deden twee testen om te bepalen waar de software gevoelig voor kon zijn en om te begrijpen hoe we een optimaal eindresultaat konden bekomen.
Vooronderzoek testen
Setup
Tijdens de vooronderzoek testen werkten we met twee setups: (1) minimale setup en (2) de maximale setup. Tijdens beiden setups maken we gebruik van drie softboxen die we in een gelijkzijdige driehoek plaatsten. In het midden van deze driehoek plaatste we ons object, Grogu.
Bij beiden setups deden we telkens twee verschillende runs, een met (a.) iPhone-camera (foto & video) en een met (b.) DSLR-camera (foto).
Strengths
(1) Minimale setup
Tijdens onze eerste test met de minimale setup behaalden we direct een zeer goed resultaat. We merkten geen verschil in kwaliteit tussen de (a.) iPhone-camera en de (b.) DSLR-camera.
Verder werd het ons duidelijk dat de gebruiksvriendelijk en bewegelijkheid van een iPhone onze voorkeur had. Het was bijzonder makkelijk om vanop verschillende standpunten foto’s te maken.
We leerden ook dat de combinatie van foto’s op afstand (wide foto’s) en foto’s van dicht (close-ups) bij een goed resultaat opleverden.
De wide foto’s zorgden ervoor dat de software voldoende herkenningspunten had om het 3D-model mee te produceren en de close-ups zorgden dan weer voor meer detail input.
(2) Maximale setup
Tijdens de maximale setup creëerden we een zwarte ruimte rond het object. Tijdens de deskresearch bleek dat het gebruik van een void rond het object de scan kon verbeteren.
Hoewel deze scan ook zeer bruikbaar was merkte we weinig tot geen verschil tussen deze methode en onze minimale setup.
Strengths conclusie
Na deze verschillende testen kwamen we tot de conclusie dat we met de meeste bescheiden setup (iPhone-camera, drie softboxen en geen void) steeds zeer goede resultaten konden behaalden. Er was geen merkbaar verschil tussen de verschillende settingen.
Tot slot concludeerden we ook dat de gebruikte software, Reality Capture zeer performant was. De software liet ons toe zeer snel en gemakkelijk een 3D-model te maken op basis van de genomen foto’s en filmpjes.
Weaknesses
Tijdens sommige scans raakten we de pop per ongeluk aan waardoor zijn positie veranderde. Dit zorgde voor een onbruikbare scan. Daarnaast deden we ook testen met mensen. Ook hier werden we geconfronteerd met hetzelfde probleem. Dit probleem komt voort uit het feit dat we met één camera rond het object moeten bewegen. Tijdens deze scan moet het object perfect stil blijven staan. De minste beweging zorgt ervoor dat de software zijn herkenningspunten verlies en daardoor geen volledig juist 3D-model kan reproduceren.
Je kan dit perfect oplossen met een (zeer dure) rig van tientallen camera’s rondom het object. Je kan dan een scan maken op exact hetzelfde moment waardoor alle herkenningspunten altijd overeenkomen. Het object dat je wilt scannen moet dus helemaal stil blijven staan gedurende de volledige scan om geen discrepantie te krijgen tussen herkenningspunten.
Opportunities
Na het afwerken van onze 3D Grogu konden we verder aan de slag. We merkten al snel dat 3D Grogu zeer bruikbaar was in een virtuele omgeving (bv. Unreal Enging). De volgende stap was om te proberen Grogu te laten bewegen. Hiervoor moesten we Grogu gaan riggen.
Tijdens dit proces voorzie je je object van een virtueel skelet waardoor de datapunten van het skelet overeenkomen met die van het 3D-model. Dit kan een behoorlijk tijdrovende job zijn, daarom besloten we ons uitsluitend te richten op het hoofd en de nek van 3D Grogu.
We konden aantonen dat deze methode werkt en dit gaf ons alle vertrouwen de volgende stap te zetten: Olly Wannabe scannen, riggen en met motion capture data laten bewegen.
Pilootproject: Olly Wannabe
Na ons geslaagd vooronderzoek konden we een goede inschatting maken hoe we op een efficiënt manier een scan van Olly Wannabe konden maken.
Met drie softboxen, één iPhone- en één DSLR-camera onder onze arm vertrokken we richting een Tv-studio waar Hotel Hungaria bezig was met de opnames van een nieuwe Olly Wannabe reeks.
Het plan van aanpak was om, net zoals tijdens onze eerste testen een drie softboxen in een evenwijdige driehoek op te stellen met in het midden een statief om Olly Wannabe op te zetten. Uiteindelijk plaatsten we nog een extra softbox om zeker te zijn dat we elke deel van Olly mooi konden belichten. Daarnaast kozen we ervoor om Olly Wannabe in zoveel mogelijk aparte stukken op te delen. Zo scanden we het hoofd, romp + armen en de benen + schoenen apart. We hadden uit ons vooronderzoek namelijk geleerd dat deze methode voor een betere scan zorgt en het gemakkelijker is om 3D Olly Wannabe te riggen.
We beschikten over een klein uur om de volledige scan te maken. Om zeker te zijn dat we voldoende materiaal konden vergaren deden we telkens twee scans, een met een iPhone-camera en een andere met een DSLR-camera.
Na afloop hadden we een 700-tal beelden gemaakt, ruim voldoende om in te voeren in Reality Capture.
Nadat Reality Capture elke object (hoofd, romp, benen) had opgebouwd was het aan ons om deze afzonderlijke elementen samen te voegen tot één volledige 3D Olly Wannabe. Eens dit proces klaar was konden we Olly Wannabe makkelijk in een virtuele omgeving plaatsen en aansturen met mocap data.
Tot slot gebruikten we mocap data van Mixamo om Olly Wannabe te laten bewegen, met succes!
Setup
We zochten een ruimte waar we makkelijk onze softboxen konden opzetten en nog steeds voldoende plaats hadden om rond te lopen. We plaatsen de drie softboxen in een driehoek waardoor we elke hoek zo goed mogelijk konden uitlichten.
In het midden van deze driehoek plaatsen we een statief waarop we verschillende lichaamsdelen van Olly konden plaatsen.
Tot slot kozen we om zowel met een iPhone-camera als een DSLR-camera te werken. Gezien de beperkte tijd wilden we proberen zoveel mogelijk bruikbaar materiaal te verzamelen.
Olly werd in verschillende elementen op het statief geplaats (hoofd, lijf en armen, benen)
Uiteindelijk verzamelden we ongeveer 230 foto’s per object. We slaagden erin om alle lichaamsdelen te fotograferen in ongeveer 45 min.
Strengths
We konden met behulp van de foto’s en de fotogrammetrie software, Reality Capture vrij eenvoudig en goedkoop een 3D-model maken van Olly Wannabe. De mogelijkheden met een 3D-model zijn groot. Denk maar aan verschillende line extension zoals face filters, animatie d.m.v. mocap data, games, teasers, … Daarnaast is het ook interessant om deze methode te hanteren omdat je door het gebruik van een 3D-model het gebruik van de echte pop, die zeer duur is tot een minimum kan beperken.
Weaknesses
De enige tekortkoming die wij ervaarden tijdens onze test was het feit dat we maar met één camera werkten. Mochten we werken met een fotogrammetrie setup waarbij er tientallen camera’s zijn die je op hetzelfde moment kan laten capteren kan je nog sneller en accurater werken. Helaas is deze optie zeer duur.
Opportunities
Na onze verschillende testen kunnen we stellen dat we erg geloven in deze technologie. Gezien het feit dat je vrijwel direct aan de slag kan met enkel een iPhone zorgt voor een lage drempel om te experimenteren met deze technologie.
Daarnaast zien we allerlei mogelijkheden met deze 3D-modellen (line extensions). Zo deden we nog een kleinere test om 3D Olly Wannabe te voorzien van Mixamo data en in AR weer te geven.
Tot slot, no Olly was harmed in the making of this 3D model!
