Happy Borne, boite à selfie évolutive
Une borne pas comme les autres
Il y a déjà plus d’un an, Yannick Herry avait lancé Happy Borne, une borne à selfie personnalisée et connectée (un petit rappel ici). Un concept simple mais efficace: l’utilisateur prend une photo, la personnalise via des stickers et des emojis puis l’envoie via mail ou l’imprime directement sur place.
En quelques mois, l’engouement envers cette borne a été incroyable. Elle a réussi à se faire une place sur de nombreuses courses à pieds au niveau local (Angers), régional mais aussi national. Voici quelques courses où Happy Borne a été présente : marathon du médoc, marathon de Tours, marathon de Nantes… En plus de ces événements sportifs, cette borne est aussi très appréciée durant les événements d’entreprise, mais aussi durant les mariages. L’utilisateur obtient ainsi un souvenir qu’il peut ramener chez lui.
En constante évolution…
Depuis plus d’un an, Happy Borne a été améliorée. Pour rappel, la première version contenait une application iPad qui consistait à :
- ajouter des cadres personnalisés aux photos prises ;
- dessiner, écrire et ajouter des stickers ;
- partager sur Twitter, Facebook, par email et télécharger les photos à l’aide d’un QR Code ;
- imprimer ;
- administrer chaque événement.
Suite aux premiers retours des utilisateurs, nous avons commencé à faire “vivre” l’application contenue dans l’iPad. Tout d’abord, nous nous sommes rendu compte que le partage via Twitter et Facebook n’était jamais utilisé. En cause, le fait qu’il faille se connecter sur son propre compte pour pouvoir partager la photo. Cette fonctionnalité a donc été supprimée. Nous avons d’autre part amélioré la stabilité de l’application, mais aussi l’envoi de mail et l’impression de photo. On résumera cette première année de vie de l’application par l’amélioration de sa stabilité, à l’aide de changements considérés comme étant mineurs.
Avec un an d’ancienneté et fort de ses nombreux événements, Yannick, le fondateur, a eu l’envie de simplifier d’autant plus la simplicité de la prise de photo en la rendant plus ludique. Dans la nouvelle mouture de l’application, la prise de photo n’a ainsi plus besoin d’être enclenchée par un appui sur l’écran pour lancer le décompte de la prise de photo. Nous avons pour cela décidé de mettre en place la reconnaissance d’un geste de l’utilisateur à l’aide de la caméra.
… avec une pointe d‘intelligence artificielle
La problématique de détection des gestes de l’utilisateur via la caméra ne peut malheureusement pas être résolue à partir d’une solution toute faite pour ce genre de problème. Une solution basée sur le traitement de l’image aurait pu permettre, dans notre cas, de détecter que l’utilisateur possède des bras levés ou non. Mais depuis quelques années, l’intelligence artificielle est devenue de plus en plus accessible pour les développeurs. Que ce soit sur Android ou iOS, des librairies sont accessibles (TensorFlow Lite et CoreML) et nous permettent d’intégrer de l’intelligence artificielle dans nos applications.
Sur iOS, nous avons utilisé CoreML, la librairie d’Apple. Elle permet d’utiliser des modèles sous le format .mlmodel dans l’application. Il existe de nombreux modèles open source fournis par Apple, allant de modèles permettant de prédire la profondeur d’une image, de détecter certains objets contenu dans une image, d’identifier des chiffres écrits à la main ou même d’extraire du texte contenu dans une image… Nous pouvons aussi créer nos propres modèles en fonction des besoins de l’application (détection de gestes, prédiction sur les types de fleurs, etc.) ou bien convertir des modèles déjà créés sous TensorFlow en CoreML.
Dans notre cas, nous avons converti un modele TensorFlow permettant de detecter la posture d’un humain. Un gif valant mille mots, voici les résultats des premiers tests que l’on a effectués :
Comme vous pouvez le voir, nous arrivons à tracker les membres du corps de nos utilisateurs. Ceci a constitué la base de notre modèle permettant de détecter si l’utilisateur a les bras levés ou non.
Quelques modifications et ajustements supplémentaires ont dû être réalisés pour pouvoir intégrer cette détection dans l’application Happy Borne. Nous pouvons désormais déclencher la prise de photo sans avoir à toucher l’écran.
La suite ?
Nous recevons actuellement des retours utilisateurs plutôt positifs. Le système peut encore être peaufiné, mais dans l’ensemble la détection des gestes (grâce à l’intelligence artificielle) permettant de lancer la capture de photo semble très bien fonctionner.
Les possibilités sont infinies grâce à l’intelligence artificielle. La démocratisation de cette technologie auprès des développeurs a été possible grâce aux outils fournis par Apple et Google depuis déjà 2–3 ans. Avec quelques connaissances, nous pouvons concevoir des applications qu’il n’aurait pas été possible de réaliser auparavant.
Yannick ayant de nombreuses idées dans ses cartons, nous pensons que l’application Happy Borne a encore de belles années devant elle.
