Triche dans les benchmarks : Futuremark déliste des smartphones HTC et Samsung
Après AnTuTu, c'est Futuremark qui prend des mesures contre la triche sur son outil de benchmark par certains fabricants de terminaux. Plusieurs modèles de smartphones HTC et Samsung sont sortis de ses bases de données.
L'observation de valeurs assez éloignées entre deux smartphones de marque différente mais utilisant une configuration matérielle très proche, et semblant difficilement compatible avec de seules optimisations logicielles, avait conduit certains à s'interroger sur une possible triche dans les résultats de benchmark.
Initialement constaté avec le Galaxy S4 de Samsung, l'écart de valeurs s'est retrouvé avec le Galaxy Note 3 par rapport à d'autres modèles concurrents et le site Ars Technica s'est aperçu que certains smartphones intégraient des mécanismes pour doper les performances de leur processeur en réaction au lancement des principaux benchmarks du marché alors que ces tests sont censés évaleur leur valeur dans des conditions normales d'utilisation.
Les réponses données par Samsung, principal visé mais pas le seul à activer artificiellement les coeurs de ses smartphones, n'ont pas spécialement convaincu et les éditeurs de benchmark ont commencé à réagir pour prévenir ces comportements.
AnTuTu avait aussitôt annoncé mettre en place une version spéciale de son benchmark dotée de contre-mesures pour empêcher les fraudes les plus flagrantes. Futuremark vient de publier de son côté une clarification indiquant que les règles d'utilisation de son outil impliquent que les terminaux doivent fonctionner comme s'il s'agissait d'une application standard, sans tweaks pour modifier spécifiquement leur comportement durant les mesures.
Et d'indiquer que si des terminaux sont suspectés de ne pas respecter ce cadre, ils se retrouvent sortis des bases de données et leurs résultats de benchmark ne peuvent plus servir de point de comparaison par rapport à d'autres terminaux.
Plusieurs smartphones et tablettes Samsung ( Galaxy Note 10.1 et Galaxy Note 3) et HTC (HTC One et HTC One Mini) se retrouvent ainsi en fin de liste avec une mention " Delisted " au lieu de leur valeur dans 3DMark.
Cela ne devrait cependant pas empêcher de dormir les fabricants de terminaux essayant de donner un peu plus de visibilité à leurs appareils. Tout juste se montreront-ils, peut-être, un peu plus prudents.
-
![Samsung Exynos avec GPU AMD : déjà de bons résultats en benchmark]()
En attendant l'officialisation, le prochain SoC Exynos de Samsung avec partie GPU AMD montre ses qualités en benchmark et pourrait faire de l'ombre à l'Apple A14 Bionic. -
![Samsung Galaxy S21 Ultra : la version en Exynos 2100 se montre en benchmark]()
Le prochain smartphone de référence de Samsung sera disponible en version Snapdragon 888 ou Exynos 2100 selon les versions. Cette dernière donne une idée de ses performances sur Geekbench.
Vos commentaires
Ils ont triché sur la réaction des coeurs de leur processeur.
En gros, là où un seul coeur aurait dû etre activé dans le benchmark ( le benchmark simulant le stress que ce coeur en question aurait dû subir, par exemple pendant le simple affichage ou l'envois de sms) c'est 4 ou 8 coeurs qui ont été activés.
Resultat : au lieu d'avoir un score reflétant la vraie utilisation du téléphone, le score est largement dopé à cause des 4 ou 8 coeurs qui ont été activés artificiellement au lieu du seul qui aurait normalement dû s'activer.
Ils ont tout simplement "dit" à leur processeur "Bon, dés que l'utilisateur lance un benchmark, tu actives tous tes coeurs et tu te donnes à 100% sur toute la durée du benchmark, peu importe le comportement que ce benchmark simule"
J'espère ne pas dire de bêtise.
Merci bien (je pensais jamais de ma vie remercier un chibre mais bon... haha)
J'ai pas trop compris pourquoi le pouce rouge sinon haha, excusez moi d'être limité sur certains sujets..
ET du coup j'comprends mieux l'arnaque maintenant...