Le langage des signes est la principale langue de nombre de personnes sourdes ou malentendantes. Toutefois, ce langage maternel pour certains ne leur permet pas d'interagir avec des ordinateurs, sans compter qu'un traducteur n'est pas toujours à portée de main.

C'est le constat que dresse Microsoft Research pour présenter un projet mené par sa division en Asie avec le concours de l'Institute of Computing Technology à l'Académie chinoise des sciences. Ce projet de traduction et de reconnaissance du langage des signes s'appuie sur la reconnaissance des mouvements du corps de Kinect pour Windows.

Une caméra Kinect permet de suivre les mouvements d'une personne s'exprimant en langage des signes, et plus particulièrement le suivi de la main. Un logiciel se charge d'analyser et normaliser les données pour faire correspondre les mots les plus pertinents.

Le projet a permis de concevoir un système avec deux modes. Un premier concerne la traduction du langage des signes en texte ou voix.

Kinect-langage-signes-mode-traduction

Le deuxième mode est pour une communication entre une personne entendante et une personne malentendante via l'utilisation d'un avatar. Sur saisie texte au clavier, l'avatar peut afficher la phrase correspondante en langage des signes. La personne malentendante répond en langage des signes et le système convertit la réponse en texte.

Kinect-langage-signes-mode-communication

Si des solutions plus onéreuses existent, le professeur Xinil Chen de l'Académie chinoise des sciences déclare que ce projet démontre la possibilité d'une reconnaissance du langage des signes facilement disponible, avec des capteurs 2D et 3D à bas prix.