Les résultats de benchmark sont devenus incontournables dans l'appréciation des smartphones et l'information qu'ils sont censés apporter sur les performances de l'appareil mobile dans un contexte donné se rapprochant plus ou moins d'un usage au quotidien se résume souvent au score final.
Dans ce contexte, avoir le meilleur score constitue un argument d'autorité pour affirmer qu'un smartphone est "meilleur" qu'un autre, oubliant qu'un smartphone est un ensemble de différentes composantes qui ne se limite pas à la seule puissance brute délivrée et dont les optimisations propres ne sont pas toujours quantifiées dans les benchmarks.
Il peut donc être tentant pour des fabricants de smartphones de faire en sorte que leur appareil passe en mode survitaminé quand il détecte le lancement d'un benchmark afin de gagner quelques points supplémentaires et d'être mieux classé que les concurrents.
En 2013, le groupe Samsung, mais aussi plusieurs fabricants en vue, avaient été pris la main dans le sac avec la découverte d'un mécanisme qui faisait tourner les coeurs du SoC à pleine cadence le temps des benchmarks, selon un mode de fonctionnement qui n'avait plus grand-chose à voir avec l'évaluation de la réactivité du smartphone dans des conditions proches de l'usage quotidien.
Cela avait fait pas mal de bruit à l'époque et des dispositions avaient été prises pour empêcher cette triche dans les benchmarks. Il apparaît cependant que certains fabricants s'y adonnent toujours, quatre ans plus tard.
Le site XDA Developers cite les cas de OnePlus et de Meizu dont il a observé que les coeurs des processeurs des smarpthones passaient dans un mode surcadencé lorsqu'ils détectaient le lancement d'un outil de benchmark.
En collaboration avec Primate Labs, créateur de Geekbench, et après analyse de la ROM d'un OnePlus 3T, il est apparu que ce mode était activé dès que l'appareil mobile détectait le lancement de benchmarks tels que Geekbench, AnTuTu, Androbench, Quadrant, Vellamo et GFXBench.
L'utilisation d'une version camouflée de Geekbench, non détectable, a d'ailleurs montré que le OnePlus 3T n'activait alors pas ce mode dopé. L'un des problèmes généré par ce mode est que s'il accroît artificiellement les performances (et donc ment sur la réalité des résultats obtenus), il conduit également à sortir des contraintes thermiques naturelles pour éviter de se retrouver avec un throttling amputant brusquement les performances de l'appareil.
Contacté, OnePlus a promis de cesser d'utiliser ce mode dans les tests de benchmark mais il compte le maintenir pour les jeux. Le OnePlus 3T offrant de bonnes performances par ailleurs, ce système d'activation spécifique aux benchmarks ne semble vraiment être là que pour monter dans les classements.
Chez Meizu également, XDA Developers a découvert des choses étonnantes. Critiqué pour une utilisation très parcimonieuse des coeurs les plus puissants des SoC embarqués dans ses smartphones, le fabricant chinois semble pourtant les activer spécialement pour les tests de benchmarks lorsqu'ils sont détectés.
Là aussi, l'utilisation d'une version camouflée de Geekbench donne des résultats très différents aussi bien sur les tests single core que multicore. XDA Developers note toutefois que les fabricants surpris à tricher il y a quelques années semblent désormais rester à distance de ces pratiques.
