Kinect pour la traduction et l'interaction en langage des signes

Le par  |  4 commentaire(s)
Kinect-langage-signes-mode-communication

Microsoft Research dévoile un projet d'assistance numérique pour les utilisateurs du langage des signes. Il s'appuie sur Kinect pour Windows.

Le langage des signes est la principale langue de nombre de personnes sourdes ou malentendantes. Toutefois, ce langage maternel pour certains ne leur permet pas d'interagir avec des ordinateurs, sans compter qu'un traducteur n'est pas toujours à portée de main.

C'est le constat que dresse Microsoft Research pour présenter un projet mené par sa division en Asie avec le concours de l'Institute of Computing Technology à l'Académie chinoise des sciences. Ce projet de traduction et de reconnaissance du langage des signes s'appuie sur la reconnaissance des mouvements du corps de Kinect pour Windows.

Une caméra Kinect permet de suivre les mouvements d'une personne s'exprimant en langage des signes, et plus particulièrement le suivi de la main. Un logiciel se charge d'analyser et normaliser les données pour faire correspondre les mots les plus pertinents.

Le projet a permis de concevoir un système avec deux modes. Un premier concerne la traduction du langage des signes en texte ou voix.

Kinect-langage-signes-mode-traduction

Le deuxième mode est pour une communication entre une personne entendante et une personne malentendante via l'utilisation d'un avatar. Sur saisie texte au clavier, l'avatar peut afficher la phrase correspondante en langage des signes. La personne malentendante répond en langage des signes et le système convertit la réponse en texte.

Kinect-langage-signes-mode-communication

Si des solutions plus onéreuses existent, le professeur Xinil Chen de l'Académie chinoise des sciences déclare que ce projet démontre la possibilité d'une reconnaissance du langage des signes facilement disponible, avec des capteurs 2D et 3D à bas prix.

  

Complément d'information

Vos commentaires

Gagnez chaque mois un abonnement Premium avec GNT : Inscrivez-vous !
Trier par : date / pertinence
Le #1409762
Pour l’interaction avec un autre interlocuteur direct, le clavier serait peut-être plus rapide et pratique je pense (à moins que la technologie soit relativement rapide, ce qui arrivera forcément à un moment ou un autre ) , mais pour une interaction logicielle ça peut être intéressant.
Dans tous les cas c’est une excellente initiative

Le #1409912
orakaa a écrit :

Pour l’interaction avec un autre interlocuteur direct, le clavier serait peut-être plus rapide et pratique je pense (à moins que la technologie soit relativement rapide, ce qui arrivera forcément à un moment ou un autre ) , mais pour une interaction logicielle ça peut être intéressant.
Dans tous les cas c’est une excellente initiative


clair ! en gros ils ont concus tout un tas de bordel pour remplacer... un clavier ! Le kinect 2.0 va etre une vrai révolution. TSss Tsss... ils m'ont déja fait le coup pour le premier kinect. Qu'ils aillent chier dans leurs caisses.
Le #1515452
Bonjour,

Il faut, bien sur, saluer ce projet : non seulement il cherche à améliorer la communication entre sourds et entendants mais surtout il consacre la valeur des langues des signes, leur capacité à transmettre des messages, des idées, des concepts. Il les considère comme de vraies langues qu’on peut traiter et traduire comme d’autres langues orales telles que l’anglais, le chinois, l’espagnol…
[Je préfère d'ailleurs ce type de recherches à celles sur la "réparation" de l'oreille via les implants cochléaires qui à l'inverse nient tout intérêt aux langues des signes, se focalisant sur l'oreille cassée et le nécessaire passage par l'oralisme pour communiquer.]
Néanmoins l’efficacité de ces technologies est encore limitée et je doute que ce système puisse traduire fidèlement et agréablement un long discours.

En effet les langues des signes sont vivantes, complexes. Elles ne sont pas qu’une succession de signes. Elles possèdent leur propre syntaxe qui est intimement liée à la perception visuelle, puisque cette langue répond à une logique visuelle et non auditive. Ainsi la grammaire de la LSF n’est pas identique à celle du français (par exemple la place des mots dans la phrase n’est pas la même). Elle se construit comme un plan au cinéma. D’abord le temps (passé-présent-futur), ensuite le lieu (où cela se passe-t-il ? ), puis les acteurs (qui ? ) et enfin l’action (le verbe).

Les signes sont basés sur l’utilisation des mains mais aussi du regard et de l’espace, des expressions du visage (il est admis que les langues des signes sont composées de 5 paramètres) : les configurations des mains, leurs emplacements, leurs orientations et leurs mouvements forment des signes équivalents à des mots disposés devant soi comme sur une scène de théâtre. Les emplacements de ces signes, ainsi que la direction du regard, permettent de visualiser les relations (actif, passif ?), le temps (signes tournés vers l’arrière pour le passé, vers l’avant pour le futur). Le visage et le mouvement des épaules servent aussi à exprimer les nuances du discours par exemple l’ironie, le doute, la fermeté…

Les caméras ont-elles aujourd’hui la précision et la finesse nécessaires pour détecter tous ces paramètres ? Les algorithmes sont-ils assez élaborés pour déterminer avec exactitude l’intention du locuteur ? A voir…
Au mieux, aujourd’hui ce système pourrait sans doute traduire quelques signes simples en mots, quelques phrases basiques (sujet/verbe/complément).

Stéphan Barrère
Interprète F/LSF
http://interpretelsf.fr
Le #1515462
Bonjour,

Il faut, bien sur, saluer ce projet : non seulement il cherche à améliorer la communication entre sourds et entendants mais surtout il consacre la valeur des langues des signes, leur capacité à transmettre des messages, des idées, des concepts. Il les considère comme de vraies langues qu’on peut traiter et traduire comme d’autres langues orales telles que l’anglais, le chinois, l’espagnol…
[Je préfère d'ailleurs ce type de recherches à celles sur la "réparation" de l'oreille via les implants cochléaires qui à l'inverse nient tout intérêt aux langues des signes, se focalisant sur l'oreille cassée et le nécessaire passage par l'oralisme pour communiquer.]
Néanmoins l’efficacité de ces technologies est encore limitée et je doute que ce système puisse traduire fidèlement et agréablement un long discours.

En effet les langues des signes sont vivantes, complexes. Elles ne sont pas qu’une succession de signes. Elles possèdent leur propre syntaxe qui est intimement liée à la perception visuelle, puisque cette langue répond à une logique visuelle et non auditive. Ainsi la grammaire de la LSF n’est pas identique à celle du français (par exemple la place des mots dans la phrase n’est pas la même). Elle se construit comme un plan au cinéma. D’abord le temps (passé-présent-futur), ensuite le lieu (où cela se passe-t-il ? ), puis les acteurs (qui ? ) et enfin l’action (le verbe).

Les signes sont basés sur l’utilisation des mains mais aussi du regard et de l’espace, des expressions du visage (il est admis que les langues des signes sont composées de 5 paramètres) : les configurations des mains, leurs emplacements, leurs orientations et leurs mouvements forment des signes équivalents à des mots disposés devant soi comme sur une scène de théâtre. Les emplacements de ces signes, ainsi que la direction du regard, permettent de visualiser les relations (actif, passif ?), le temps (signes tournés vers l’arrière pour le passé, vers l’avant pour le futur). Le visage et le mouvement des épaules servent aussi à exprimer les nuances du discours par exemple l’ironie, le doute, la fermeté…

Les caméras ont-elles aujourd’hui la précision et la finesse nécessaires pour détecter tous ces paramètres ? Les algorithmes sont-ils assez élaborés pour déterminer avec exactitude l’intention du locuteur ? A voir…
Au mieux, aujourd’hui ce système pourrait sans doute traduire quelques signes simples en mots, quelques phrases basiques (sujet/verbe/complément).

Stéphan Barrère
Interprète F/LSF
http://interpretelsf.fr
Suivre les commentaires
Poster un commentaire
Anonyme
:) ;) :D ^^ 8) :| :lol: :p :-/ :o :w00t: :roll: :( :cry: :facepalm:
:andy: :annoyed: :bandit: :alien: :ninja: :agent: :doh: :@ :sick: :kiss: :love: :sleep: :whistle: =]