Ce ne sont pas des Animojis comme Apple les appellent, mais des Puppets. Ces marionnettes sont proposées avec une version bêta du clavier SwiftKey pour Android. L'utilisateur a le choix entre cinq personnages animaliers en 3D (dinosaure, chat, chien, hibou et panda) qui imiteront ses expressions faciales dans une vidéo de jusqu'à 30 secondes et avec enregistrement vocal.
Ces Puppets peuvent être partagés et ne sont pas limités à une application de messagerie spécifique. Pour cette fonctionnalité ludique, SwiftKey dit avoir travaillé avec les équipes de Microsoft Computer Vision et Microsoft Research Asia.
Petit rappel… Microsoft a racheté la société britannique SwiftKey en 2016 avec pour intérêt sa technologie s'appuyant sur les réseaux de neurones artificiels (deep learning).
Un aspect intéressant de la technologie d'intelligence artificielle de Puppets est de s'appuyer sur le capteur photo à l'avant du smartphone qui nécessite seulement d'être RGB, ce qui est le cas pour la plupart des smartphones Android. Nul besoin d'un capteur de profondeur intégré.
SwiftKey explique avoir entraîné un réseau de neurones avec des milliers de volontaires (images et vidéos) dans le but d'identifier les mouvements du visage et les transférer sur un personnage en 3D. Pour l'utilisation pratique, les testeurs pourront se référer à cette page.
Il y est précisé que les images recueillies par la caméra ne sont ni stockées ni transmises. " Elles sont dans la mémoire de l'appareil pendant quelques millisecondes pour reconnaître l'expression en local sur l'appareil et sont ensuite supprimées. "
À noter qu'il est nécessaire d'avoir la version 7.0 (Nougat) ou plus d'Android. SwiftKey ajoute que le résultat obtenu sera - logiquement - de meilleure qualité avec des smartphones plus récents et plus puissants. Pour le moment, il s'agit toutefois d'une fonctionnalité expérimentale.
