08 — De la VR à la création de filtre
Après nos pérégrinations plus ou moins fructueuses sur Unreal Engine (il y aurai encore beaucoup à dire), toujours avec Ed, nous sommes partis de la réalité virtuelle pour la réalité augmentée. Dans le thème des JO d’hiver, l’objet de notre projet était de réutiliser notre statue d’anneaux et de se demander comment la faire apparaître en AR.
Le bon logiciel pour l’AR 👨💻
Si il est possible de faire de l’AR avec Unreal Engine, ce n’est pas une fonction native du logiciel. Unity a déjà plus de ressources pour faire des projets qui en contiennent. Mais ni Ed, ni moi ne sommes développeurs et Unity / Unreal Engine ne sont pas très simple sur la mise en place même de la réalité augmentée, quoique nous fassions.
C’est ce que j’ai vite constaté et j’ai donc pensé plutôt à Spark AR, le soft de création de filtre de Facebook — ou Meta, pardon. Il est possible de créer des filtres pour placer des objets dans l’espace avec la caméra externe du téléphone. Je me suis déjà servi de Spark AR dans ma précédente alternance, lorsqu’on avait porté l’idée de vendre des filtres Instagram. J’avais déjà pu prendre une semaine pour me former dessus et j’ai trouvé ça très cool : c’est très facile à prendre en main pour l’utilisateur lambda et en même temps on peut aller assez loin grâce au système de programmation visuelle en nodal. De plus, la technologie de tracking AR est vraiment impressionnante, et probablement la meilleure du marché avec Lens Studio, le logiciel de filtre du concurrent Snapchat.
Petite remise à niveau 👊
J’ai donc téléchargé Spark AR et j’ai ouvert la documentation pour me remémorer les bases, Ed étant occupé sur un autre projet à ce moment là. Il y a beaucoup de petits projets proposés pour s’initier à la création de filtre, les tutos sur Youtube ne manquent pas non plus.
Ce qui m’intéressait ici, ce ne sont donc pas les filtres “visage” mais ce qui sert à tracker une surface ou placer un objet dans l’espace. J’ai suivi un tutoriel intermédiaire de la plateforme et j’ai recrée cette animation ci-dessous d’un bras levé qui surgit du sol. Tous les assets sont fournis.
Les forces et les faiblesses des filtres Spark AR 👌
Pour commencer par les points forts, Spark AR peut tracker vraiment bien les surfaces, comme dit plus haut. Même en tournant dans tous les sens, avec le gyroscope et l’accéléromètre, l’objet que l’on a placé dans l’espace AR reste relativement en place. Ensuite, l’autre point fort c’est le workflow. En branchant son téléphone à son ordinateur et en téléchargeant Spark AR Player, on peut facilement tester directement les filtres avec son téléphone, se tromper, recommencer. Enfin, comme ce sont des filtres exportables vers Facebook et Instagram, il est facile de les partager au plus grand nombre via les réseaux sociaux et c’est une véritable force pour la démocratisation de ces technologies.
Pour les côtés négatifs, nous nous rendons compte avec Ed des limites techniques qu’impliquent les filtres en terme de complexité et de rendu graphique. Par défaut, il n’y a pas d’ombre, pas d’illumination globale et le nombre de polygones doit rester faible pour pouvoir tourner sur tous les téléphones. Ainsi on aura toujours ce rendu un peu PlayStation 1. Il est possible de mettre des lights, un hdri, des animations et des rigs FBX. Mais attention, le filtre ne pourra pas dépasser la limite 4mo pour être exportable.
Les anneaux en AR 💍
Ainsi, difficile à la vue de ces contraintes, d’imaginer un projet AR avec de lourdes animations en alembic. Pour la science, on a quand même essayé d’en importer, rien ne se passe évidemment. Rien à voir avec Unreal Engine pour le rendu en temps réel ici.
Par contre, aucun soucis pour le modèle des anneaux, j’ai rapidement pu faire un premier essai :
Par la suite, nous avons testé plusieurs choses : est-ce qu’il est possible de prédéfinir la taille dans l’espace ? est-ce qu’on peut baker ses textures métallique et les afficher sur le modèle ? Ed m’a donné des textures bakées et j’ai essayé de mettre une taille gigantesque aux anneaux pour vérifier tout ça : ça marche !
Enfin, nous avons aussi essayé d’intégrer des animations déjà faites depuis Cinema 4D pour mettre à l’épreuve les performances : Ed a préparé une animation assez longue et ça marche très bien également.
Suite à tous ces petits tests réussis sur Spark AR, Ed a réalisé une petite vidéo pour l’agence (lorsque j’étais à l’école) pour montrer comment peut vivre ce genre de filtre en extérieur, avec ce genre de grand modèle.
Même si ça n’allait pas toujours quelque part, ces recherches en quatre mains avec Ed étaient très enrichissantes, bien qu’assez techniciennes. Nous avons à présent une meilleure conception des bonnes pratiques et des workflows à connaître pour le temps réel.
À très bientôt par ici 🌻
Chumpy_corp