👁️‍🗨️ Coup d’oeil sur la détection de la posture avec Mediapipe

Détecter les points d’articulations du corps à partir d’une vidéo

L’estimation de la pose humaine à partir d’une vidéo peut avoir plusieurs intérêts dans divers domaines tels que la reconnaissance de mouvements , utile dans les domaines du sport, de la danse ou encore de la rééducation physique ; la sécurité, utile pour détecter des comportements anormaux ou suspects ; ou bien la réalité augmentée, utile pour permettre aux utilisateurs de manipuler des objets virtuels en utilisant des gestes naturels.

Pose humaine en 2D [2]

Comment détecter la pose humaine sur une vidéo ?

Pour faire cela, rien de plus simple ! Pour démontrer la simplicité (et pour le fun), nous allons déterminer la pose du célèbre chanteur Oxlade pendant son clip vidéo.

La vidéo tirée du clip “Oxlade — KU LO SA | A COLORS SHOW”,

Comment ? Grâce à la bibliothèque Mediapipe.

Mediapipe

Rendu open source en juin 2019, la bibliothèque MediaPipe by Google offre des plusieurs solutions ML, notamment pour la détection d’objets, la détection de visages, le suivi de mains, le suivi de plusieurs mains et la segmentation de cheveux.

Exemples de solutions ML proposé par Mediapipe

Mediapipe Pose

Avec MediaPipe Pose nous pouvons détecter la pose humaine, et plus particulièrement les points d‘intérêt du corps humain, à partir de médias en direct et en streaming. En effet, cette solution ML multi-plateformes et personnalisables nous permet d’extraire 33 points d’articulation du corps, avec leurs coordonnées dans un repère 3D, à partir d’images vidéo RVB [1].

Les points d’articulations prédits par Mediapipe (coordonnées 3D) [1]

Implémentation

Pour faire de l’estimation de pose vous pouvez utiliser les programmes de base qui vont suivre pour vos test.

Le code ci-dessus provient de PoseModule.py dont les fonctionnalités disponibles (en comptant celles que j’ai rajoutées) sont :

• findPose : détecte les poses dans une image et les dessine si draw=True
• findPosition : trouve puis retourne dans une liste les positions (en pixels) des repères d’intérêt du corps (landmarks) et les dessine si draw=True
• findAngle : calcule puis retourne l’angle formé par trois landmarks et le dessine si draw=True
• findCenter : calcule puis retourne le centre d’un segment de deux landmarks et le dessine si draw=True
• findDistance : calcule puis retourne la distance euclidienne entre deux landmarks et la dessine si draw=True

Après avoir importer le fichier PoseModule.py, il vous suffira de le faire fonctionner sur chaque image de la vidéo que vous souhaitez et que vous lirez grâce à la bibliothèque OpenCV :

C’est bon tout est en place ?

Ok, donc pour déterminer la pose humaine de Oxlade, il vous suffira simplement de placer la vidéo de son clip en entrée du code ci-dessus après l’avoir télécharger en mp4 : c’est-à-dire d’indiquer son chemin dans la fonction cv2.VideoCapture.

Libre à vous d’utiliser ou non, les différentes fonctions du module au besoin.

Output

La pose du chanteur Oxlade estimée grâce à Mediapipe

On remarque qu’on est quasiment à 15 images par seconde, ce qui est relativement lent… De fait, il y eu une diminution de la fréquence d’image par seconde, et c’est quelque chose qui arrive assez systématiquement avec la bibliothèque Mediapipe Pose.

La lenteur, un réel problème ?

En effet, 15 images par seconde peuvent être considérées comme un taux de rafraîchissement relativement faible pour la plupart des applications qui impliquent de la vidéo ou de l’animation. Cela est d’autant plus vrai si l’on compare ce taux de rafraîchissement à celui des vidéos ou des animations en haute définition, qui peuvent atteindre des taux de rafraîchissement de 30, 60 ou même 120 images par seconde.

Cependant, tout dépend de l’application et du contexte dans lequel les images sont utilisées. Dans certains cas, comme la surveillance de la sécurité ou l’enregistrement de vidéos en temps réel pour l’analyse, 15 images par seconde peuvent être suffisantes. Dans d’autres cas, comme la production de vidéos haute définition pour le cinéma ou la télévision, ce taux de rafraîchissement serait considéré comme insuffisant.

Mlachahe SAID SALIMO.

Références :

1. MediaPipe Pose, google.github.io
2. A Comprehensive Guide on Human Pose Estimation, analyticsvidhya.com