Via du doublage audio et/ou des sous-titres, le navigateur Microsoft Edge va prochainement bénéficier d'une traduction en temps réel des vidéos consultées sur des sites. Elle sera d'abord disponible pour des sites comme Bloomberg, CNBC News, Coursera, LinkedIn, Money Control, Reuters et YouTube. Microsoft indique que davantage de plateformes vidéo seront ajoutées à l'avenir.
Dans un premier temps, la traduction des sources audio pourra s'appliquer du coréen et de l'espagnol vers l'anglais, ainsi que dans l'anglais vers l'allemand, l'espagnol, l'italien, le hindi et le russe. Là encore, Microsoft souligne que des langues supplémentaires seront ultérieurement prises en charge.
Lors du survol d'une vidéo pendant quelques secondes, une icône de traduction fera son apparition. Microsoft précise que certains contenus vidéo seront plus adaptés à la traduction comme dans le domaine de l'éducation, les actualités et les contenus narratifs.
Un traitement en local
La fonctionnalité de traduction vidéo en temps réel entre dans le cadre de nouveautés alimentées par l'IA pour Microsoft Edge et son intégration avec Copilot. La traduction sera toutefois réalisée sur l'appareil, sans traitement dans le cloud.
Pour une première traduction dans une nouvelle langue, il faudra installer le modèle de traduction idoine sur l'appareil. Une procédure dont la réitération ne sera pas nécessaire la prochaine fois.
" De nombreux facteurs influent sur la précision de la traduction, tels que la musique de fond, le nombre de locuteurs, la langue source, etc. Nous travaillons en permanence à l'amélioration de la qualité de la traduction. […] Le contenu généré par l'IA peut comporter des erreurs ", prévient Microsoft.
En marge de Live Captions
Avec l'arrivée d'ordinateurs portables de la catégorie Copilot+ PC, Microsoft a dévoilé Live Captions pour Windows 11. En s'appuyant sur le NPU du PC pour le traitement des tâches d'IA, n'importe quel flux audio bénéficie d'une traduction en temps réel via des sous-titres en anglais affichés à l'écran. Plus de 40 langues sont concernées.
Live Captions repose sur une intégration au niveau du système d'exploitation. Pour Microsoft Edge, la traduction vidéo en temps réel (doublage audio et sous-titres) opère différemment.
