Hololens : Retour d’expérience & guidelines (partie 1)

Comment designer pour Hololens et la Réalité Mixte en tirant le meilleur parti de la technologie de Microsoft?

Benjamin Launay
Dec 7, 2017 · 12 min read

Il y a un peu moins de deux ans, Microsoft rebattait les cartes en sortant son casque de réalité mixte : Hololens. Pour un designer 2D comme moi, utiliser Hololens la première fois c’est remettre en question une bonne partie de ses apprentissages. Plus de cadre, des interfaces évoluant dans un monde en 3 dimensions et surtout des utilisateurs immergés dans votre application. Aussi bien graphiquement que ergonomiquement je me devais de reprendre les bases pour bien appréhender ce nouveau paradigme et les problématiques qui en résultent. J’ai eu l’occasion de me plonger dans ce travail lorsqu‘il y a deux mois j’ai intégré Synergiz, une société spécialisée dans le développement d’applications innovantes et dans les NUI (Natural User Interface).

Comme toute nouvelle technologie innovantes et prometteuse, Hololens génère de l’envie et du fantasme. Lorsqu’on pense Hololens on pense hologramme, Star Wars, Minority Report, Iron Man, etc. L’imagerie véhiculée par la science fiction, et dont Microsoft s’est largement inspiré pour injecter une image cool à son produit, peut pourtant s’avérer problématique pour un développeur d’application en Réalité Mixte. Il devient alors courant de rencontrer des clients qui souhaitent spécifiquement une application Hololens quand leurs besoins pourraient être comblés par une simple tablette acheté 300€ à la Fnac du coin. Et c’est bien là le premier travail de l’UX designer : définir si Hololens est adapté à l’usage qui vous est soumis, ou inversement.

Étude : Confronter le projet et la techno

Pour créer la meilleure expérience qui soit, il est impératif de bien cerner les problématiques inhérentes à un projet et de les recouper avec les capacités et les limitations de la technologie que vous serez amené à utiliser.

Des atouts…

Hololens offre une véritable interaction avec le réel et c’est véritablement là son atout premier. Hérité de la technologie Kinect, il embarque des capteurs spécifiques permettant de scanner votre environnement (spatial mapping) et de l’interpréter de façon à détecter les différents plans (sol, plafond, table, murs) et détecter certains types d’objet (spatial understanding). Utiliser Hololens c’est donc superposer un monde virtuel sur votre environnement physique, mais c’est aussi permettre à ces deux mondes de ne faire qu’un en partageant des propriétés physiques (simulation de la gravité, gestion des collisions, capacité à gérer l’occlusion, etc.).

Le deuxième point fort de Hololens c’est d’être mobile et tout-en-un. Le casque embarque tout le hardware nécessaire et ainsi ne vous attache à aucun câble. Avec son poids plume de moins de 600gr vous pourrez évoluer dans l’espace sans aucune contrainte pouvant casser l’immersion ou amoindrir l’expérience.

La capacité du casque à partager un espace virtuel commun, soit avec de multiple casques, soit avec d’autre devices plus courants (tablette, pc, etc.) et le fait de pouvoir y interagir de façon synchronisé fait de Hololens un champion de l’usage collaboratif et social.

Preuve de concept de l’utilisation d’Hololens pour la conception de véhicules chez Ford

Enfin Hololens vous propose d’interagir avec votre environnement via un panel d’input qui permet d’enrichir significativement l’expérience. Navigation par le regard (gaze), commande vocale, gestuelles spécifiques, le tout combiné à la possibilité d’interagir avec de nombreux types de contrôleurs. Il vous faudra apprendre à implémenter de façon pertinente ces différents moyens de navigation pour garantir une ergonomie efficace et surtout adaptée à l’usage.

…Mais aussi des limitations

Le Field Of View (FOV), autrement dit le champ de vision du casque de Microsoft, permet aujourd’hui de vous ouvrir une fenêtre de 35° sur votre monde virtuel (le champ de vision humain étant d’environ 180°). Suffisant pour une interaction poussée avec votre environnement, il est tout de même à prendre en considération pour le développement de vos futures applications, notamment pour la conception de l’UI qui sera à penser en fonction de cette contrainte.

Malgré une autonomie des batteries annoncée à 5h, on constate que pour un usage intensif avec des scènes 3D complexes, Hololens tombe rapidement sous la barre des 2h30. Une fois encore, pour un usage professionnel il vous faudra prendre en considération ce facteur limitant.

La finesse du spatial mapping est elle aussi à prendre en compte. On ne peut pas parler ici d’une limitation du device à proprement parlé mais il est important de se rappeler que les capteurs du casque feront un travail de maillage moins précis si votre scène est grande. A l’inverse, travailler dans un holospace réduit vous permettra un scan et une restitution virtuelle plus précise, offrant ainsi une plus grande finesse dans les interactions entre votre environnement physique et votre environnement virtuel.

Les usages

Hololens est à n’en pas douter un device hors du commun ouvrant un nouveau terrain de jeu pour tous les concepteurs d’expériences. Pourtant il est certains usages pour lesquels l’utilisation de la réalité mixte ne sera pas adaptée et d’autres dans lesquels Hololens sera à même de montrer l’étendue de ses capacités. Ces cas d’usage ont été pré-identifiés par Microsoft dans ses campagnes marketing. On a vu beaucoup de démonstration dans les domaines de la formation, de la conception, du jeux ou encore de l’assistance.

CAE VimedixAR: une application de formation à l’échographie assistée par Hololens. Edité par CAE Santé.

Mais identifier le contexte global d’usage n’est définitivement pas suffisant. Pour être en capacité de créer une expérience sur mesure adaptée, il vous faudra aussi penser à la nature de votre application (Immersive, productive, collaborative, ou un peu des trois?) ainsi qu’à son contexte d’utilisation précis. Quelle est la configuration des lieux? Y aura t’il des facteurs sonores pouvant parasiter la commande vocale? Des caractéristiques visuelles pouvant gêner les capteurs d’Hololens (surfaces noires, vitrée, réfléchissantes, …)?. Enfin il est important de se demander à quelle fréquence sera utilisée votre application. On sait que le besoin d’intuitivité et la rapidité de prise en main ne sera pas la même si l’expérience est répétée trois fois par jours ou une fois par mois.

Les usagers

On préconise dans le meilleur des cas la création de personas permettant d’établir de la façon la plus fine possible le ou les profils de vos utilisateurs. Une interface ne sera pas pensée de la même façon si votre user lambda est un expert dans son domaine ou un opérateur. Un technophile ou un newbie.

Contrairement aux idées reçues, tout ce qui est créé dans Hololens n’est pas intuitif. Hololens offre, il est vrai, une expérience proche de notre réalité et donc visuellement intuitive. En revanche en terme d’interaction il vous faudra prendre en considération que l’usage d’une application Hololens demandera un certain apprentissage de la part de vos utilisateurs. Les gestuelles (Air Tap, Bloom et Tap & Hold), aussi bien conçues soit elles, ne viendront pas naturellement à l’esprit d’une personne n’ayant jamais vu, ni suivi l’actualité autour de Hololens (c’est à dire 90% de vos utilisateurs potentiels).

Conception : Une UX sur mesure

Une fois la techno cernée (potentiels et limitations) et le projet bien définit (usage, contexte et usagers) viendra le moment des choix ergonomiques et graphiques.

Pratiquez l’onboarding

Comprenez littéralement “l’embarquement” de vos utilisateurs dans votre application. L’onboarding est une pratique courante dans l’UX design, elle consiste en une première étape de découverte d’un produit dans laquelle l’utilisateur sera accompagné. Cette étape est importante dans Hololens car la navigation y est inhabituelle pour notre génération habituée aux interfaces 2D et aux interactions souris/clavier ou tactiles. On connait déjà ce concept appliqué aux applications du store pour mobile ou tablettes et certaines marques aux besoins bien spécifiques pratiquent l’onboarding en conditions réelles comme la marque de vélo pliant Brompton.

Deux types d’onboarding chez Brompton : à gauche une animation expliquant le procédé de pliage d’un vélo. A droite un vendeur formant les clients.

Mais alors à quoi peut ressembler l’onboarding pour une application Hololens? Comme chez Brompton, une première solution consiste tout simplement à rester auprès de l’utilisateur pour lui expliquer le fonctionnement de l’application, les interactions possibles et les inputs associés. Il s’agit là d’une première solution qui trouvera vite ses limites mais qui conviendra sans doute pour une application de type évènementielle qui sera déployée de façon très ponctuelle. Dans cet esprit de coaching, le jeu Fragment développé par le studio bordelais Asobo prend le parti intéressant de vous introduire le jeu en utilisant un personnage virtuel. L’intérêt étant ici que l’onboarding est fait dans l’application par l’intermédiaire d’un bot, permettant ainsi à l’utilisateur d’être entièrement autonome.

Onboarding sur le jeu Fragments, développé par Asobo Studio

On peut également s’inspirer de ce qui existe dans les applications store et proposer un rapide tuto expliquant les principales fonctionnalités et les principes ergonomiques de base en quelques slides au sein d’un carrousel qui apparaitra lors de la première utilisation.

L’application Teomirn vous apprend le piano en réalité mixte

Une autre solution, également apparentée aux applications mobiles, est l’apparition contextuelles des informations tutorielles au fur et à mesure que l’utilisateur progresse dans sa première utilisation. Cette solution, plus complexe à implémenter, permettra de tirer un meilleur parti du caractère immersif de Hololens en disposant des indications visuelles dans l’espaces physique comme on le ferait pour la signalétique d’un lieu public. Ce genre d’onboarding prendra tout son sens dans une application tirant fortement parti du potentiel d’Hololens à imbriquer espaces physiques et espaces virtuels. D’autre part, il est prouvé que la rétention des souvenirs est plus efficace si votre utilisateur manipule lui même l’application au moment de son apprentissage. Un peu comme lorsque vous apprenez les règles d’un jeu de plateau en faisant une première partie sans comptabiliser les points.

L’application SIDEL, développée par Synergiz, vous introduit à son utilisation par un système de signalétique contextuelle.

Le choix des inputs

Comme évoqué plus haut, Hololens propose un large choix d’input et offre même la possibilité d’interagir avec des devices métiers spécifiques. Se pose alors le choix des inputs que vous aller utiliser pour enrichir votre expérience et de ceux que vous allez préférer laisser de côté. Un bon choix d’input ne peut se résumer en quelques simples règles car il est trop lié à la nature même de vos applications et à son contexte d’utilisation. Certains problèmes d’ergonomie peuvent être anticipés, par exemple dans un contexte industriel on peut supposer que l’ambiance sonore rendra inopérante la commande vocale. En revanche d’autres problématiques plus complexes ne seront détectables qu’en réalisant des tests au fur et à mesure du développement. Parfois le choix d’un mode d’interaction pourra vous paraitre judicieux dans l’absolu et se révéler complètement inadapté dans la pratique.

Dans le jeu HoloLems, une adaptation du jeu Lemmings développée par Globacore pour Hololens, on peut avoir un bon aperçu des conséquences d’un mauvais choix d’input sur une expérience de type réalité mixte.

Dans cette adaptation en réalité mixte, les développeurs ont eu l’idée de remplacer la traditionnelle UI du jeu original des années 90 par la commande vocale. Une idée intéressante qui permet d’avoir les commandes toujours à disposition sans occuper de place dans le champs visuel.

UI du jeux original Lemmings

Pourtant une rapide session de jeu vous démontrera à quel point ce mode d’interaction n’est pas adapté aux besoins du jeu. Hololems, comme son aïeule Lemmings, requiert une rapidité d’exécution qui n’est pas compatible avec le temps nécessaire à énoncer une commande comme “Build bridge” ou “Block left”. De la même façon, l’usage combiné des deux inputs comme le Gaze (pour la sélection d’un lemming) et le Vocal (pour lancer une action), peut paraître approprié mais pose en fait de gros soucis de précision dans le gameplay, notamment lorsqu’il s’agit d’attribuer rapidement une action à un personnage en mouvement.

Hololems développé par Globacore pour Hololens

En conséquence, testez, testez et testez encore vos moindres choix ergonomiques au sein de votre application Hololens. Testez plus encore le choix d’un input qui influera très fortement sur la prise en main de l’expérience.

Quel type d’interface?

Dans l’univers du jeu vidéo on peut identifier quatre types d’interfaces. Les interfaces Extra-diégétiques, les interfaces Méta, Spatiales et Diégétiques. L’appartenance de l’UI à l’une ou l’autre de ces grandes familles dépend de la façon dont elle sera intégrée à l’univers du jeu ou a sa spatialité. A noter qu’il est évidemment possible de retrouver plusieurs typologies d’interface au sein d’un même jeu.

On dira par exemple d’une interface qu’elle est Spatiale si elle est intégrée à l’espace du jeu mais pas à sa diégèse (l’univers de narration du jeu). C’est le cas par exemple des éléments graphiques apparaissant au dessus des personnages dans Metal Gear Solid. L’excellente émissions Pause Process sur les interfaces de jeu explique ces différents principes plus en détail :

Ce parallèle avec le jeu vidéo est fort utile car on retrouve des principes équivalents dans le monde de la VR et de la réalité mixte.

Les interfaces Méta

Dans le contexte d’un développement Hololens, plusieurs moyens sont à votre disposition pour implémenter une interface de type Méta. On parlera alors de Body Locked et de Tag Along.

Tag Along

Le Body Locked consiste à attacher une interface à votre champ visuel de façon rigide sur le même principe que les HUD des avions de chasse (Heads Up Device ou affichage tête haute). On trouve ce genre d’interface dans le jeu VR Adrift ou le joueur est projeté à l’intérieur d’un casque de cosmonaute lui donnant des informations visuelles sur son environnement et ses constantes vitales.

Adrift, développé par Three One Zero pour Oculus.

Ce genre d’interface donne un accès immédiat à l’information et peut présenter un intérêt pour des usages métiers demandant une certaine productivité. A l’usage le Body Locked peut aussi être ressenti comme une gène visuelle et provoquer un inconfort pour l’utilisateur. Son utilisation sera plus pertinente dans une application VR pour améliorer l’immersion et l’engagement utilisateur. Dans le cadre de Hololens son usage est très limité puisqu’il ne permet pas d’interaction au gaze avec les éléments de l’UI. Les guidelines de Microsoft déconseillent d’ailleurs son utilisation.

On préfèrera donc la seconde solution : le Tag Along. Selon le même principe que le Body Locked, le Tag Along permet d’avoir toujours sous le regard les élément importants d’une UI. Il diffère cependant de la première solution dans la façon dont il est attaché à l’utilisateur. Là ou le Body Locked sera relié de façon rigide à l’axe de votre regard, le Tag Along se caractérise par une élasticité apportée au suivi des mouvements. Cela permettra d’éviter la sensation de parasite visuel tout en conservant l’avantage d’une accessibilité rapide. Il conviendra toutefois d’être vigilant sur la façon d’implémenter le Tag Along. Le mouvement de l’interface devra être fluide (60fps) et intégrer un effet de ralentissement progressif afin d’être le plus naturel possible. La latence entre le mouvement de la tête et le replacement de l’UI sous le regard ne devra pas être trop longue afin d’éviter le motion sickness.

Les interfaces Spatiales

Dans Hololens on parlera ici de World Locked. Ce type d’interface à pour caractéristique d’utiliser la spatial mapping et de pouvoir se fixer dans le holospace afin de garder le même placement quel que soit la position de l’utilisateur.

World Locked

Ce type d’interface permettra à l’utilisateur de personnaliser son expérience en plaçant des éléments de l’UI dans dans l’espace aux emplacements qui lui semblent les plus pertinents pour son usage. Il sera ainsi possible de contextualiser une interface et d’assigner par exemple un emplacement à une fonctionnalité. Ce type d’interface pourra trouver un véritable intérêt dans un contexte industriel où le lieu de travail est toujours le même (chaine de montage, atelier de conception, etc.). Ce principe provoquera cependant un morcellement inévitable de l’UI qui peut poser problème, notamment pour des usages collaboratifs ou plusieurs intervenants travaillent au sein d’un même holospace.

Les interfaces Diégétiques

Sur le même principe que le World Locked, l’interface diégétique consiste à placer l’UI à un endroit donné avec pour différence que l’interface épinglée pourra se mapper sur l’environnement physique créant ainsi du sens dans l’expérience.

Diegetic + World Locked

En utilisant la capacité de Hololens à reconnaitre les plans et même certains types d’objets au formes simples (spatial understanding) il deviendra alors possible d’enrichir l’environnement physique avec de l’information contextuelle pertinente ou encore des interactions. Même si relativement limitée pour le moment cette capacité de spatial understanding de l’Hololens promet des usages vraiment intéressants pour ses évolutions futures.

Extrait d’un tweet de Luke Wroblewski sur les usages futurs de la Réalité Mixte.

C’est ainsi que s’achève la première partie de cet article consacré à Hololens. Lors d’un second article sur ce thème nous aborderons plus spécifiquement le design UI dans une application Hololens. Quel style graphique appliquer? Comment optimiser l’interaction grâce à des choix cosmétiques judicieux?

Vous venez de lire mon premier article sur Medium, merci d’être allé jusqu’au bout. Si ce que vous venez de lire vous a plu et que vous souhaitez m’encourager à continuer, n’hésitez pas à me mettre un petit “clap”.

A bientôt.

Source :

Design for Mixed Reality by Todd Williams : https://medium.com/microsoft-design/how-to-think-about-designing-3d-space-b88faf609df4

Taking the leap from 2D to 3D by Hae Jin Lee : https://medium.com/microsoft-design/taking-the-leap-from-2d-to-3d-4199ccc777a1

Billboarding and tag along : https://developer.microsoft.com/en-us/windows/mixed-reality/billboarding_and_tag-along

Interaction fundamentals : https://developer.microsoft.com/en-us/windows/mixed-reality/interaction_fundamentals

What would augment reality? by Luke Wroblewski : https://www.lukew.com/ff/entry.asp?1974

Les interfaces by Pause Process : https://www.youtube.com/watch?v=ZzqY8h65RVU

Welcome to a place where words matter. On Medium, smart voices and original ideas take center stage - with no ads in sight. Watch
Follow all the topics you care about, and we’ll deliver the best stories for you to your homepage and inbox. Explore
Get unlimited access to the best stories on Medium — and support writers while you’re at it. Just $5/month. Upgrade