2017 : arrivée des capteurs mobiles nouvelle génération
De la Wii à l’iPhone X, les capteurs visuels ont connu un nombre important d’évolutions à tout point de vue. Historique et explications.
Wii : les premiers capteurs interactifs
En 2006, la Wii arrivait avec sa fameuse manette Wiimote. Un moyen d’interaction original : grâce à un capteur posé sur le téléviseur, la console de jeu détectait les mouvements de l’utilisateur pour rendre l’expérience plus vivante.
Head Tracking avec la Wii : expérience immersive
Les premiers “hacks” sont vite arrivés. En inversant le capteur et en le plaçant sur la tête du spectateur, on pouvait créer une illusion de profondeur 3D quasiment parfaite. L’expérience était assez géniale.
Kinect : le capteur de profondeur par Microsoft
La Kinect est un capteur de profondeur développé par PrimeSense, une startup rachetée par Microsoft.
L’idée est de proposer un capteur permettant de détecter l’utilisateur dans son environnement. Bien que plutôt imprécis, le capteur est plutôt performant.
C’était en 2009 une petite révolution.
Avec un matériel plutôt simple :
- un émetteur infra-rouge
- un récepteur infra-rouge
- une caméra.
Une puce spécialisée effectue des calculs en temps réel pour déterminer le “squelette” de l’utilisateur, la détection des sols et la détection d’objets. On a déjà de quoi s’amuser !
Kinect 2 : plus fiable et plus précise
En 2014, Microsoft dévoile la Kinect 2 associée à sa Xbox One.
La Kinect 2 est plus évoluée d’un point de vue technologique. Elle embarque également une caméra TOF qui détecte bien plus précisément la profondeur.
Un SDK pour les développeurs
La Kinect 2 permet de sortie du cadre vidéo ludique.
Microsoft a en effet mis à disposition des développeurs tout un kit de développement qui permet de mettre en place de nouveaux usages.
Les possibilités sont immenses.
Animation des avatars
En utilisant la reconnaissance des expressions faciales, on peut aller très loin en matière d’animations. Avec une précision exceptionnelle.
Détection des émotions 😀 😮
Et oui : avec une reconnaissance précise du visage, on peut détecter les émotions plus facilement.
Le Machine Learning en rajoute 2 couches !
Reconnaître les visages est une chose. Les interpréter en est une autre.
En 2016, Microsoft a dévoilé son API Face. Une évolution aussi exaltante qu’inquiétante. En gros, grâce à son système de cloud Azure couplé à des algorithmes intelligents et une base de données monstrueuse, Microsoft est en mesure de détecter l’âge, le genre et bien d’autres informations à partir d’une simple photo !
La démonstration en ligne “How old do I look?” a bluffé tout le monde à sa sortie.
Associer reconnaissance d’expression et Machine Learning
Les rois du marketing se sont rapidement emparés du sujet : dès 2016, nous avons pu découvrir les premiers usages de ce mélange technologique.
On pouvait dès lors analyser les visages des personnes d’une pièce, leur intérêt (expression faciale, regard) pour un contenu publicitaire projeté, l’adaptation du contenu en fonction du genre et de l’âge.
Le ciblage publicitaire “dans la vraie vie” (IRL) a connu un nouvel âge d’or.
RealSense : du Kinect, en plus simple et plus petit
La technologie RealSense, mix opportun des compétences de Intel et Creative, a permis de concevoir un capteur vraiment plus petit. Qui pouvait se poser sur un écran d’ordinateur portable.
Moins performant que le Kinect, il n’en est pas moins très fiable.
RealSense intégré à l’ordinateur portable Asus
En 2015, Asus a annoncé le premier ordinateur portable avec caméra 3D RealSense. C’est une version allégée de la caméra, un peu gadget, mais une première expérience réussie d’intégration.
Premiers essais mobiles
Avant d’en arriver là, il y a eu un peu de chemin.
La réalité augmentée
En utilisant diverses techniques de Machine Learning et de reconnaissance d’images, on peut faire de la réalité augmentée.
C’est le propre des technologies ARKit et ARCore.
Les double capteurs
Les technologies à double caméra associées à des puces graphiques puissantes ont permis de faire de la reconnaissance du champs de profondeur. Mais de manière simulée.
Suffisant pour des effets sur les photos, mais c’est tout.
La reconnaissance facile
Quelques essais “marketing” ont été réalisés. Très impressionnant sur le papier, totalement bidon dans la réalité.
Comme on le voit dans la démo qui suit, aucun capteur spécifique n’est utilisé pour détecter un vrai visage. Le mécanisme est donc facile à duper.
La caméra TrueDepth de l’iPhone X
La caméra faciale TrueDepth de l’iPhone X utilise de multiples technologies, similaires à sa grande soeur Kinect, mais adaptée au smartphone.
Une moteur puissant
L’iPhone X dispose d’une puce A11 Bionic, particulièrement puissante. Elle permet en effet d’exécuter 600 milliards d’opérations par seconde. Ce qui en fait un smartphone aussi puissant qu’un Macbook.
Une véritable intelligence artificielle intégrée
Pour mieux détecter les images, et surtout apprendre de celles-ci, l’iPhone X intègre dans sa puce A11 Bionic un véritable réseau neuronal.
C’est l’une des techniques de Machine Learning les plus performantes. Cette intégration technologique permet à l’iPhone X d’analyser en temps réel 30 000 points sur le visage de l’utilisateur.
Des capteurs précis et puissants
La technologie de Kinect est intégrée en version miniature en haut de l’écran de l’iPhone X.
Couplée à la puissance de l’appareil, elle peut faire des merveilles.
Face ID
Loin des techniques utilisant la simple reconnaissance d’image, Face ID permet une identification poussée de l’utilisateur grâce à son visage. Qu’il ait les cheveux longs ou courts, rasé ou non, maquillé ou non.
Une démo vaut mieux qu’un long discours.
Du fun
Quelques démos encore.
Et des possibilités illimitées pour les développeurs
Apple a mis à disposition des développeurs les API permettant d’exploiter pleinement le capteur facial de son iPhone X.
Cette petite vidéo pour les développeurs illustre bien les capacités de l’iPhone X.
Affaire à suivre
Les constructeurs de smartphones souhaitent intégrer ces nouveaux capteurs dès 2018.
D’ici 2 à 3 ans, cette technologie devrait être maîtrisée par l’ensemble des constructeurs. Une affaire à suivre donc !
