Triche dans les benchmarks : Futuremark déliste des smartphones HTC et Samsung

L'observation de valeurs assez éloignées entre deux smartphones de marque différente mais utilisant une configuration matérielle très proche, et semblant difficilement compatible avec de seules optimisations logicielles, avait conduit certains à s'interroger sur une possible triche dans les résultats de benchmark.

Initialement constaté avec le Galaxy S4 de Samsung, l'écart de valeurs s'est retrouvé avec le Galaxy Note 3 par rapport à d'autres modèles concurrents et le site Ars Technica s'est aperçu que certains smartphones intégraient des mécanismes pour doper les performances de leur processeur en réaction au lancement des principaux benchmarks du marché alors que ces tests sont censés évaleur leur valeur dans des conditions normales d'utilisation.

Les réponses données par Samsung, principal visé mais pas le seul à activer artificiellement les coeurs de ses smartphones, n'ont pas spécialement convaincu et les éditeurs de benchmark ont commencé à réagir pour prévenir ces comportements.

AnTuTu avait aussitôt annoncé mettre en place une version spéciale de son benchmark dotée de contre-mesures pour empêcher les fraudes les plus flagrantes. Futuremark vient de publier de son côté une clarification indiquant que les règles d'utilisation de son outil impliquent que les terminaux doivent fonctionner comme s'il s'agissait d'une application standard, sans tweaks pour modifier spécifiquement leur comportement durant les mesures.

Et d'indiquer que si des terminaux sont suspectés de ne pas respecter ce cadre, ils se retrouvent sortis des bases de données et leurs résultats de benchmark ne peuvent plus servir de point de comparaison par rapport à d'autres terminaux.

Plusieurs smartphones et tablettes Samsung ( Galaxy Note 10.1 et Galaxy Note 3) et HTC (HTC One et HTC One Mini) se retrouvent ainsi en fin de liste avec une mention " Delisted " au lieu de leur valeur dans 3DMark.

Cela ne devrait cependant pas empêcher de dormir les fabricants de terminaux essayant de donner un peu plus de visibilité à leurs appareils. Tout juste se montreront-ils, peut-être, un peu plus prudents.