Qualcomm cherche le benchmark mobile idéal

Les plates-formes hardware mobiles ont connu une évolution très rapides ces dernières années, passant du simple au double coeur, puis au quadcore, tandis que les processeurs graphiques suivaient des évolutions similaires, empruntant de plus en plus de fonctions à leurs contreparties sur PC.

Les fabricants de processeurs mobiles sont évidemment tentés de mettre en avant les performances de leurs produits et la tentation a été grande de faire passer les benchmarks du marché pour des références absolues.

Or, les benchmarks ne sont que des indicateurs fonctionnant dans un contexte donné, avec des modes de calcul et des tests donnant des résultats pas toujours représentatifs selon l'architecture analysée. Cet écueil est régulièrement rappelé mais, comme les sondages, seul le résultat fourni finit par compter aux yeux de ceux qui devraient en rappeler la relativité et la méthodologie.

 Et comme souvent encore, cette situation se poursuit jusqu'à ce que quelqu'un dénonce les manipulations et les interprétations erronées. Cela n'a pas manqué encore cette année après les affirmations de supériorité de l'architecture x86 mobile sur ARM ou les accusations envers Samsung qui ferait tourner le processeur de son Galaxy S4 au maximum de ses possibilités lors des benchmarks pour obtenir un score certes élevé mais qui ne correspond à la réalité de son usage.

En septembre 2012, nous exprimions déjà des doutes sur cette volonté de s'appuyer sur les benchmarks comme références pour démontrer les qualités des processeurs. Les derniers remous autour de ce sujet ont sans doute contribué à ouvrir les yeux sur l'arme à double tranchant qu'ils représentent.

 Le leader des plates-formes mobiles Qualcomm annonce ainsi qu'il va sponsoriser le développement d'un nouvel outil de mesure conçu par le BDTi ( Berkeley Design Technology Inc. ) qui a l'ambition de mettre en place un cadre mesurant l'expérience utilisateur mobile plus que la performance brute des appareils mobiles, de manière à fournir une valeur qui ait un sens pour l'utilisateur final en prenant en compte des scénarios d'usage réel et non pas des calculs abstraits sans rapport avec l'utilisation des appareils.

Des éléments comme l'autonomie, la réactivité des applications et les performances réseau seront prises en compte dans un indice global qui pourrait être appliqué en principe à l'ensemble des terminaux mobiles.

Si le projet a pour pairs Qualcomm et le groupe chinois Tencent, il est dit qu'il sera développé de façon indépendante par le BDTi, avec une première concrétisation fin 2013 et une disponibilité générale de l'indice début 2014. Dans son essence, l'idée n'est pas très loin de l'indice composite que nous évoquions il y a près d'un an maintenant...