La douce montée de la réalité mixte
Faciliter les interactions organiques entre les humains, les ordinateurs et l’environnement
Si vous vous intéressez le moindrement à la technologie, la réalité virtuelle (VR) et la réalité augmentée (AR) vous sont probablement très familiers.
Les systèmes VR ont d’abord été popularisés par l’industrie du jeu vidéo, mais sont maintenant utilisés pour une pléthore de cas d’usage à travers nombre d’industries. Les systèmes AR, quant à eux, ont été un peu plus lents à émerger, mais sont maintenant de plus en plus nombreux dans le marketing, le jeu vidéo, les médias sociaux et plus. Ces deux technologies immersives ont été explorées en long et en large dans les dernières années; si bien, qu’elles sont pratiquement devenues mainstream.
Aujourd’hui, toutefois, nous les voyons s’assembler et donner naissance au meilleur des deux mondes: la réalité mixte. 💫
La réalité mixte (MR) est une innovation relativement récente. Il n’y a pas si longtemps, elle était encore en cours de raffinement, et n’était pas suffisamment disponible ni abordable pour que la majorité des consommateurs puissent en profiter. Maintenant, toutefois, elle croît lentement et commence à devenir plus largement accessible. De grandes entreprises telles que Meta et Apple investissent dans cette technologie émergente, l’aidant à sortir de sa niche et libérant ainsi une panoplie d’applications potentielles. Si la tendance se poursuit, la MR pourrait bientôt devenir monnaie courante dans une multitude de professions, et provoquer un changement certain à travers nombre de secteurs d’activité.
Qu’est-ce que c’est?
Maintenant, vous vous demandez peut-être… Qu’est-ce que la MR exactement? 🤔
La réalité mixte, aussi appelée MR, MX ou réalité hybride, se trouve à mi-chemin entre la réalité augmentée et la réalité virtuelle. L’utilisateur peut interagir en temps réel avec du contenu digital superposé à son environnement physique, ce qui signifie que des éléments des mondes réel et virtuel peuvent être manipulés simultanément. Par exemple, vous pourriez prendre une boîte virtuelle sur votre table de salon, l’ouvrir, et voir ce qui se trouve à l’intérieur.
Il subsiste une ambiguïté collective entre les termes AR et MR. Tous deux superposent du contenu virtuel au monde réel; alors, quelle est la différence? Eh bien, en fait : leurs terminologies se chevauchent en majorité, alors ils sont largement synonymes. Dans les deux cas, les additions digitales sont imbriquées au monde physique de telle sorte qu’elles sont perçues comme en faisant partie, et il est possible d’interagir avec elles comme si elles étaient réelles. La principale différence est que les casques MR, contrairement aux casques AR, permettent à l’utilisateur de passer de l’immersion totale à l’immersion partielle au sein de la même expérience. Eh oui… C’est mélangeant, on vous l’accorde! 😵
Le spectre des expériences immersives, aussi appelé « continuum de virtualité », image ces concepts de façon judicieuse.
Il s’agit essentiellement d’une représentation linéaire de toutes les réalités; son échelle va du complètement physique, jusqu’au complètement virtuel. À l’extrême gauche, rien n’est digital; et à l’extrême droite, tout l’est. Près de l’extrémité digitale du spectre, le concept de virtualité augmentée est introduit, où un monde virtuel est augmenté avec des objets physiques. La réalité augmentée se trouve plus près de l’extrémité physique du spectre puisque la vaste majorité des informations s’y trouvant sont authentiques, avec peu d’ajouts numériques. La réalité mixte, quant à elle, se trouve en plein centre; là où les mondes digital et physique s’entrechoquent pour créer une expérience spectaculaire. Elle englobe à la fois l’AR et l’AV comme terme parapluie.
Pour un portrait complet de toutes les technologies immersives et de ce qui les différencie, voyez notre article Un éventail de réalités. 🌌
Comment ça fonctionne?
Fondamentalement, la réalité mixte exploite l’informatique en nuage et l’intelligence artificielle pour créer du contenu généré par ordinateur, et le lier au monde réel. C’est aussi simple que ça.
Mais la MR peut aussi incorporer de nombreuses autres technologies telles que des caméras et capteurs, de la cartographie et des ancres spatiales, des boîtes à limite, des détecteurs infrarouges, un suivi des mains et du regard et des entrées vocales, en plus des écrans. Les dispositifs de saisie et l’éclairage virtuel, par exemple, peuvent renforcer le sentiment d’immersion; le suivi du regard peut personnaliser l’expérience; le suivi de la position peut enregistrer des interactions et relations plus complexes; les réseaux 5G peuvent permettre une performance plus rapide et une latence minimale; et la vision par ordinateur avancée peut permettre une reconnaissance de l’environnement plus avancée et des augments plus efficaces. Bref: plus grandes sont les capacités de l’appareil, meilleure sera l’expérience de réalité mixte. 👌
Des appareils AR/MR tels que le Microsoft HoloLens et le Magic Leap sont sur le marché depuis un moment déjà, exploitant les overlays, la compréhension de scène et les ancres spatiales; mais ils impliquent un prix assez élevé. D’autres appareils deviennent progressivement disponibles dans une gamme de prix diversifiée, tentant de combler le fossé entre les lunettes AR haut de gamme et les casques VR grand public. Le Meta Quest 2, par exemple, est un appareil moins coûteux et plus accessible pour un usage général, alors que l’imminent Meta Quest 3 permettra des expériences MR de plus haut niveau que son prédécesseur via un passthrough couleur de haute résolution. Le Meta Quest Pro, quant à lui, est une version légèrement plus dispendieuse, avec un meilleur écran, une plus haute résolution, le passthrough couleur, le suivi du regard, la reconnaissance d’expression faciale et une répartition du poids améliorée pour une utilisation prolongée. Puis, il y a les appareils haut de gamme tels que le Varjo XR-3 et le futur Apple Vision Pro, qui offrent une performance significativement supérieure, une résolution exceptionnelle et bien plus encore. Ces casques aspirent à régler les divers problèmes liés à une utilisation quotidienne, qui empêchaient jusqu’à maintenant l’adoption générale de la MR, en recréant virtuellement tout ce que le AR peut faire (de la lecture de textos sur un téléphone portable, jusqu’à l’exécution de tâches variées harmonieusement tout en étant en immersion complète).
Dans l’ensemble, ce qui lie ces nouveaux appareils est qu’il s’agit essentiellement d’appareils VR offrant des capacités MR, alors que les précédents sont des appareils AR offrant des capacités MR. Les casques tels que Hololens ou Magic Leap sont dotés de lentilles transparentes qui laissent simplement passer la réalité, laquelle est ensuite augmentée via projection; les casques tels que Meta ou Varjo, en revanche, placent l’utilisateur en immersion complète tandis que des caméras intégrées capturent leur environnement et renvoient le flux vidéo à leur champ de vision, pour qu’il soit ensuite augmenté. Tous deux offrent des résultats similaires, mais à travers des filtres différents; ainsi, ils ont chacun leurs avantages et leurs inconvénients, et peuvent être utilisés dans différents contextes. Les casques VR/MR, par exemple, peuvent augmenter la réalité de façon plus immersive et réaliste, alors que les casques AR/MR ont l’avantage de ne pas bloquer le champ de vision de l’utilisateur avec un écran opaque, ce qui est un grand atout pour les activités sur le terrain.
À quoi ça sert?
Cette capacité à interagir avec du contenu à la fois physique et virtuel donne à la réalité mixte un énorme nombre d’applications potentielles. Alors qu’elle se répand et que ses coûts diminuent, il y a de fortes chances qu’elle devienne largement adoptée dans différents secteurs. D’ailleurs, il existe déjà de nombreux exemples de cas d’usage tirant parti de la MR, et même parfois, de la VR par la même occasion.
Nous savons ce que vous devez penser: ça a l’air bien, tout ça, mais ça semble aussi… incroyablement compliqué. Nous vous accordons que le processus de création de contenu MR était autrefois interminable, exigeant en termes de matériel, et dépendant d’experts compétents. Eh bien… plus maintenant. 😎
Notre logiciel de création de contenu StellarX, par OVA, est un outil bac-à-sable permettant à quiconque de créer du contenu immersif — sans code. Originellement seulement VR, nous avons maintenant introduit un ensemble de fonctionnalités MR dans les versions de juin et juillet, vous permettant de fusionner le réel au virtuel tout en souplesse. Notre vision pour StellarX a toujours été de démocratiser les technologies immersives; nous voulons éliminer les intermédiaires en permettant à quiconque, indépendamment de son expertise technique ou de sa capacité à coder, de créer des mondes virtuels intuitivement. Nous pouvons dire avec certitude que nous y sommes parvenus avec la VR — et, maintenant, nous sommes sur la bonne voie pour faire de même avec la MR!
StellarX offre même des fonctionnalités de co-localisation via les ancres spatiales partagées, permettant la collaboration de plusieurs participants en réalité mixte dans un même espace physique.
Alors : maintenant que nous avons établi que le contenu de réalité mixte personnalisé est loin d’être hors de portée… Voyons ce qu’il est possible d’en faire exactement! 👇
Enseigner aux élèves
La réalité mixte peut être utilisée dans le secteur de l’éducation afin d’enseigner n’importe quel sujet de façon interactive. Elle permet aux étudiants de manipuler et d’interagir avec des objets virtuels, tout en ayant accès à des environnements ou des outils réels. Ils peuvent ainsi mieux comprendre ce qu’ils étudient, examiner des choses qui seraient autrement difficiles ou même impossibles à accéder, et pratiquer des manipulations avec de l’équipement coûteux ou fragile sans aucune conséquence. De plus, la ludification de la matière la rend beaucoup plus plaisante et engageante, stimulant l’intérêt et les taux de rétention. Dans une étude de recherche menée par Microsoft, des expériences immersives MR dans les universités ont conduit à une amélioration de 22% des résultats de tests, et à une augmentation de 35% des taux de rétention et d’engagement des étudiants. 📚
Par exemple, dans une simulation immersive offerte par Fundamental VR, la MR est utilisée pour simuler des opérations chirurgicales sur la colonne vertébrale (1). Les étudiants peuvent manipuler de vrais outils sans être noués à des manettes comme en VR, mais le sujet est artificiel, ce qui permet d’éviter d’éventuelles répercussions. Le simple fait de pouvoir produire des modèles en trois dimensions de l’anatomie, couronnés d’informations accessibles d’un simple geste, pourrait changer la façon dont les soins de santé et la médecine sont enseignés (2).
Concevoir des systèmes
Le secteur de l’ingénierie peut tirer parti de la réalité mixte de nombreuses façons. Les hologrammes réalistes, la sculpture 3D et la simulation en temps réel peuvent non seulement faciliter les phases de planification et de conception, mais aussi améliorer significativement les processus de contrôle et d’assurance qualité. Les équipes de conception peuvent générer des jumeaux numériques d’items, ce qui leur permet de prototyper rapidement, d’expérimenter avec de nombreux matériaux et de tester des concepts innovateurs avec un minimum de gaspillage, et un minimum de coûts. Des applications de suivi de projet peuvent même projeter des modèles de design 3D ou 4D sur des structures, en plein pendant leur construction. Les ingénieurs peuvent ainsi visualiser le progrès, repérer les erreurs, et manipuler les concepts en temps réel. ⚙️
Ford, par exemple, utilise la technologie de réalité mixte pour visualiser ses itérations de véhicules, réduisant ainsi les délais et les coûts de développement. Les hologrammes digitaux lui permettent d’explorer plus de propositions tout en accélérant les processus de conception et d’ingénierie, qui prenaient auparavant des semaines, voire des mois, avec les modèles en argile traditionnels. (3).
Construire des objets
La réalité mixte peut téléporter les usines de fabrication directement dans votre espace de bureau. Elle peut vous permettre de tester les processus de production, de superviser les chaînes de montage et de surveiller l’inventaire, sans devoir vous déplacer. Sur place, elle peut aussi grandement faciliter les processus d’assemblage, de maintenance et de réparation; des algorithmes peuvent fournir de l’information contextuelle aux opérateurs en temps réel, économisant ainsi beaucoup de temps (et d’argent). 🔨
Par exemple, l’AR et la MR ont été mises à profit par le fabricant Dagri pour l’assemblage d’une centrale électrique à turbine à gaz. Une étape qui prenait auparavant 480 minutes a pu être réalisée en moins de 45 minutes, sans qu’aucune formation préalable ne soit nécessaire (4). Un autre exemple provient du fabricant français Renault Trucks. Il a adopté avec succès l’HoloLens dans l’un de ses établissements pour améliorer le contrôle qualité de l’assemblage de moteurs. Désormais, au lieu de lire des instructions sur papier, les opérateurs peuvent obtenir des informations pertinentes juste là, alors qu’ils effectuent leur travail (5).
Former la main d’oeuvre
La réalité mixte offre de formidables opportunités de formation. Les employés peuvent s’entraîner virtuellement, se connecter et collaborer avec des mentors en temps réel, recevoir l’aide de l’IA pour des conseils précieux, et bien plus encore. Des hologrammes peuvent substituer efficacement les équipements coûteux, fragiles, ou simplement inaccessibles avec une perturbation minimale aux processus habituels; ils permettent aussi une sécurité accrue, ce qui s’avère crucial dans les industries dangereuses telles que le pétrole et le gaz, la sûreté et la sécurité ou la défense. Les travailleurs peuvent être formés sur des manœuvres, de l’équipement ou des sites fataux, sans risque de blessure. La mémoire musculaire est développée pratiquement sans investissement, permettant aux entreprises d’économiser temps et argent. 💸
Japan Airlines (JAL), par exemple, utilise activement l’HoloLens pour former les ingénieurs avec une assistance virtuelle depuis leur lieu de travail, sans même qu’ils aient à se rendre dans un vrai hangar (6).
La réalité mixte pourrait même être utilisée conjointement avec la réalité virtuelle, pour une expérience de formation des plus exhaustives. Certaines des nouvelles fonctionnalités de StellarX, tirant parti du passthrough et des boîtes à limite, vous permettent d’importer une scène de la vie réelle à un environnement virtuel, prenant ainsi contact avec la réalité tout en restant en immersion totale. On pourrait donc, par exemple, apprendre une manipulation sur de l’équipement virtuel dans une simulation VR entièrement générée par ordinateur, tout en étant guidé par un expert qui, montré via une fenêtre intégrée harmonieusement, manipulerait l’instance réelle dudit équipement en temps réel.
Briser la distance
La réalité mixte permet le développement d’expériences partagées beaucoup plus engageantes. La vidéoconférence MR fait surgir de nouvelles manières d’interagir; pensons simplement à surmonter les barrières linguistiques en traduisant une langue en temps réel! Des caméras peuvent transmettre du matériel à des collègues à distance, leur permettant de commenter ce qu’ils observent et d’offrir des instructions adaptées. Ils peuvent même dessiner sur leurs écrans pour mieux exprimer leur propos, plaçant ainsi des hologrammes dans le champ de vision de l’utilisateur en immersion. Plus encore : les manipulations à distance effectuées sur un système virtuel peuvent être appliquées à sa contrepartie réelle, facilitant la maintenance et réduisant les coûts de déplacement. ✈️
La NASA, par exemple, s’est tournée vers la réalité mixte pour moderniser le Cold Atom Lab, un laboratoire quantique à bord de la Station Spatiale Internationale, puisqu’il était virtuellement impossible d’envoyer une équipe complète d’ingénieurs pour effectuer de la maintenance… dans l’Espace. Sur Terre, le même concept est utilisé pour contrôler à distance des usines de dessalement, des stations d’épuration et des parcs éoliens (7).
Créer des expériences
L’essor récent de la réalité mixte a encouragé les entreprises à l’utiliser pour étendre leurs campagnes de marketing et augmenter leurs retours sur investissement, puisqu’elle offre aux clients une vision tout à fait unique. Via des casques de réalité mixte, les clients peuvent faire l’expérience virtuelle des produits ou services d’une entreprise; et ce, bien avant de payer. La MR peut également s’avérer un outil de présentation puissant lors de foires commerciales, permettant aux spécialistes d’effectuer des démonstrations en exploitant l’environnement immédiat et sans isoler le client de celui-ci comme la VR le ferait. Finalement, elle peut aussi être utilisée pour stimuler la productivité en créant des environnements et flux de travail qui seraient impossibles à réaliser dans la vie réelle. 📈
Par exemple, Meta a introduit Infinite Office, un ensemble de nouvelles fonctionnalités de réalité mixte conçues pour créer un espace de bureau virtuel et personnalisé qui vous laisse accéder à une infinité d’écrans à la fois, si vous le souhaitez (8).
Il n’y a pas si longtemps, nous étions toujours dans les stades initiaux de découverte de la MR. Mais maintenant, elle a dépassé sa phase d’introduction, et s’affaire plutôt à développer la stabilité nécessaire pour un usage généralisé.
Comme nous l’avons vu, les applications MR émergent doucement dans une panoplie de secteurs; mais ce n’est que la pointe de l’iceberg. Alors que le développement des logiciels et du matériel se poursuit, il semble logique d’anticiper une intégration accrue de cette technologie dans nos vies, nous aidant à développer une meilleure façon de faire les choses. La distance, les barrières de langage, les contraintes financières, les préoccupations en matière de sécurité — ces obstacles, jusqu’alors difficiles à surmonter, se volatilisent avec l’aide de la réalité mixte. L’aperçu que nous avons eu jusqu’à maintenant a eu un impact drastique sur de nombreux secteurs; alors, pensez à ce qui pourrait être possible dans un avenir pas si lointain! 💡
Via StellarX, nous souhaitons démocratiser la MR, comme nous l’avons si bien fait avec la VR. Nous croyons être en parfaite position pour donner aux entreprises et aux particuliers les outils dont ils ont besoin pour se perfectionner, optimiser leurs opérations et exercer une créativité sans limites. Les technologies immersives ne devraient pas être mises sur un piédestal; ou plutôt, si elles doivent l’être, tout le monde devrait pouvoir y grimper avec elles!
Dans les années à venir, nous pourrons observer comment tous utilisent la réalité mixte à l’unisson pour travailler, se divertir et communiquer leurs idées. Perspectives illimitées, résultats illimités! Et, d’ici là, si vous souhaitez suivre la vague — n’hésitez pas à considérer StellarX, ou à nous lâcher un message pour obtenir un peu d’aide. Nous pouvons même organiser une démo si vous aimeriez que nous vous montrions exactement comment ça fonctionne. Nous sommes heureux de fournir technologie, expertise, créativité et services pour vous aider à libérer le plein potentiel des technologies immersives! ✨
Read this article in English here
_____________
1, 5: Girnyak, M (2021). Mixed Reality Examples in Business, Gaming, and E-learning, Post Industria. URL: https://postindustria.com/mixed-reality-examples-in-business-gaming-and-e-learning-ar-commerce/
2, 4: Top Mixed Reality Applications Today, Lanner. URL: https://www.lanner-america.com/blog/top-mixed-reality-applications-today/
3: Dearborn, Mich (2017). Make Way for Holograms: New Mixed Reality Technology Meets Car Design as Ford Tests Microsoft Hololens Globally, Ford. URL: https://media.ford.com/content/fordmedia/fna/us/en/news/2017/09/21/ford-tests-microsoft-hololens-globally.html
6: Mattoo, S (2022). What Is Mixed Reality? The Better Side of Technology, G2. URL: https://learn.g2.com/mixed-reality
7: An Eye to the Future: 5 Innovative Applications of Mixed Reality, I’m Novation Hub. URL: https://www.imnovation-hub.com/science-and-technology/innovative-applications-mixed-reality/
8: Infinite Office (video), Meta Quest. URL: https://www.youtube.com/watch?v=5_bVkbG1ZCo
