Dans le cadre d'une recherche continuelle de nouvelles interactions homme-machine, les chercheurs de Microsoft ont dévoilé un système de suivi (tracking) de la main et son articulation voulu très précis et en temps réel, s'appuyant sur Kinect de la Xbox One sans apporter de modifications matérielles.
Ce système baptisé Handpose a recours à une caméra de profondeur et du logiciel afin de suivre les mouvements les plus subtiles d'une main et des doigts, tels que ceux dans le cadre de la vie quotidienne, et les reconstruire à l'écran. Avec cette articulation complète, il s'agit donc d'aller beaucoup plus loin que le système Kinect actuellement connu.
Microsoft souligne la flexibilité de Handpose au niveau du positionnement de la caméra et de son champ d'opération jusqu'à plusieurs mètres. Et ce, même lorsque la caméra est malmenée en étant secouée. Le système peut aussi reprendre le suivi après une erreur.
Comme ce qui se fait déjà, Handpose tire parti du machine learning (intelligence artificielle) afin d'enseigner à l'ordinateur comment déduire les positions de la main. Un apprentissage qui passe par une digestion de quantités d'images. À cela s'ajoute une modélisation 3D de la main pour obtenir un système plus abouti de suivi en temps réel.
Pour Handpose, Microsoft imagine des applications dans le domaine de la réalité virtuelle dont pour le jeu vidéo mais évoque également des utilisateurs qui pourraient trier des emails ou lire des documents au bureau via quelques mouvements du poignet, des représentants de force de l'ordre qui dirigent des robots dans des situations dangereuses.
