Qualcomm et la réalité augmentée et virtuelle (réunis sous le terme XR ou (eXtented Reality), c’est une longue histoire de développements d’abord pour smartphones, ensuite pour casques VR.
Comme pour d’autres segments, la firme met à profit son savoir-faire dans les smartphones pour en dériver des puces dédiées, réexploitant les plates-formes mobiles pour les adapter à un nouveau contexte tout en préservant les communications mobiles sans fil.
Qualcomm avait ainsi annoncé en 2018 une plate-forme matérielle Snapdragon XR1 comprenant tout le nécessaire pour faire fonctionner un casque de réalité mixte (ou des lunettes de réalité augmentée) et proposée aux fabricants comme base pour leurs produits.
Les technologies ont continué à évoluer entre-temps et l’événement Snapdragon Tech Summit 2019 de Hawaï est l’occasion de lui donner un successeur avec la plate-forme Snapdragon XR2 tournée vers les usages premium, XR1 restant d’actualité mais pour une expérience standard.
Outre les améliorations apportées par rapport à la génération précédente, son point fort est de fournir une compatibilité 5G, ouvrant la voie à des casques VR sans fil capables d’offrir une qualité de réalité virtuelle inégalée grâce aux très hauts débits et aux faibles latences de la nouvelle génération de réseaux cellulaires.
Comme on avait pu le voir fin 2018, la 5G permettra, en combinaison avec de l’intelligence artificielle et de l’edge computing, de se libérer de certaines limitations du matériel et d’offrir une qualité optimale selon des scénarios impossibles à mettre en place avec la seule 4G.
Qualcomm promet donc de solides améliorations par rapport à la version initiale XR Mobile sous Snapdragon 835 avec une puissance CPU et GPU doublée ou encore une capacité d’intelligence artificielle plus que décuplée.
XR2 est capable de traiter les flux de 7 caméras embarquées et dispose d’un processeur dédié pour le vision computing. En associant ces capacités avec une grande réactivité, il deviendra possible de manipuler des objets virtuels comme s’ils étaient réels et intégrés à l’environnement ambiant, créant une véritable expérience de réalité mixte.
Toutes ces caméras à disposition permettent d'effectuer toutes sortes de mesures, et notamment de l'eye tracking pour affiner la qualité de l'expérience de réalité virtuelle ou augmentée.
Pour une immersion plus profonde, la plate-forme XR2 permettra d’afficher des résolutions jusqu’à 3000 x 3000 pixels par oeil en 90 fps, avec détection des mouvements de la tête, des yeux et des lèvres (pour les avatars, par exemple) ainsi que le suivi fin des mouvements des mains et des doigts.
Grâce à la puce de traitement Hexagon embarquée, on pourra profiter du son spatial mais aussi de la détection de commandes vocales et même de la détection de son ambiant permettant d’”écouter” l’environnement proche pour ne pas en être complètement coupé.
Tout ceci forme un ensemble cohérent essayant de tirer parti au mieux du savoir-faire de Qualcomm en matière de communications mobiles. Durant la présentation de la plate-forme XR2, il a beaucoup été fait référence à des usages professionnels (maintenance, apprentissage en réalité augmentée) déjà concrets, tandis que les scénarios grand public sont plus flous ou en attente de la disponibilité d'autres technologies et de l'accès réel aux réseaux 5G pour des expériences ludiques toujours plus immersives.
Il reste également à voir si les fabricants de casques de réalité virtuelle / augmentée / mixte seront séduits par l'offre riche de cette plate-forme. Pour le moment, Qualcommm revendique plus de 30 designs avec sa plate-forme Mobile XR / XR1.
