Triche dans les benchmarks : Futuremark déliste des smartphones HTC et Samsung

Le par  |  6 commentaire(s)
Delisted logo

Après AnTuTu, c'est Futuremark qui prend des mesures contre la triche sur son outil de benchmark par certains fabricants de terminaux. Plusieurs modèles de smartphones HTC et Samsung sont sortis de ses bases de données.

L'observation de valeurs assez éloignées entre deux smartphones de marque différente mais utilisant une configuration matérielle très proche, et semblant difficilement compatible avec de seules optimisations logicielles, avait conduit certains à s'interroger sur une possible triche dans les résultats de benchmark.

Initialement constaté avec le Galaxy S4 de Samsung, l'écart de valeurs s'est retrouvé avec le Galaxy Note 3 par rapport à d'autres modèles concurrents et le site Ars Technica s'est aperçu que certains smartphones intégraient des mécanismes pour doper les performances de leur processeur en réaction au lancement des principaux benchmarks du marché alors que ces tests sont censés évaleur leur valeur dans des conditions normales d'utilisation.

Les réponses données par Samsung, principal visé mais pas le seul à activer artificiellement les coeurs de ses smartphones, n'ont pas spécialement convaincu et les éditeurs de benchmark ont commencé à réagir pour prévenir ces comportements.

Futuremark benchmark deliste

AnTuTu avait aussitôt annoncé mettre en place une version spéciale de son benchmark dotée de contre-mesures pour empêcher les fraudes les plus flagrantes. Futuremark vient de publier de son côté une clarification indiquant que les règles d'utilisation de son outil impliquent que les terminaux doivent fonctionner comme s'il s'agissait d'une application standard, sans tweaks pour modifier spécifiquement leur comportement durant les mesures.

Et d'indiquer que si des terminaux sont suspectés de ne pas respecter ce cadre, ils se retrouvent sortis des bases de données et leurs résultats de benchmark ne peuvent plus servir de point de comparaison par rapport à d'autres terminaux.

Plusieurs smartphones et tablettes Samsung ( Galaxy Note 10.1 et Galaxy Note 3) et HTC (HTC One et HTC One Mini) se retrouvent ainsi en fin de liste avec une mention " Delisted " au lieu de leur valeur dans 3DMark.

Cela ne devrait cependant pas empêcher de dormir les fabricants de terminaux essayant de donner un peu plus de visibilité à leurs appareils. Tout juste se montreront-ils, peut-être, un peu plus prudents.

Complément d'information

Vos commentaires

Gagnez chaque mois un abonnement Premium avec GNT : Inscrivez-vous !
Trier par : date / pertinence
Le #1570682
Quelqu'un m'explique un plus mieux sur quoi ils ont triché ? (par mieux, j'entends plus simplement) svp ?
Le #1570732
Une petite quenelle destinée aux fanbeaufs d'androbide.
Le #1570742
SyrDK a écrit :

Quelqu'un m'explique un plus mieux sur quoi ils ont triché ? (par mieux, j'entends plus simplement) svp ?


Ils ont triché sur la réaction des coeurs de leur processeur.
En gros, là où un seul coeur aurait dû etre activé dans le benchmark ( le benchmark simulant le stress que ce coeur en question aurait dû subir, par exemple pendant le simple affichage ou l'envois de sms) c'est 4 ou 8 coeurs qui ont été activés.

Resultat : au lieu d'avoir un score reflétant la vraie utilisation du téléphone, le score est largement dopé à cause des 4 ou 8 coeurs qui ont été activés artificiellement au lieu du seul qui aurait normalement dû s'activer.
Ils ont tout simplement "dit" à leur processeur "Bon, dés que l'utilisateur lance un benchmark, tu actives tous tes coeurs et tu te donnes à 100% sur toute la durée du benchmark, peu importe le comportement que ce benchmark simule"

J'espère ne pas dire de bêtise.
Le #1570792
J'ai testé un S4 en 4.3 avec la dernière version d'An Tu Tu et le résultat est 29700, juste à titre indicatif, car j'ai passé l'âge de dénigrer tel ou tel OS ou marque ou de dire j'ai un mobile plus costaud que le tien, c'est d'un puéril ce genre de comportement, digne de gamins dans une cours de récréation d'une école maternelle !
Le #1571422
bidon de la part de samsung vraiment, surtout qu'ils n'ont pas besoin de ça apparemment, leurs ventes se portent très bien, ça, ça fait juste "petit", surtout que le grand public ne sait même pas ce que signifie "benchmark", c'est vraiment se tirer une balle dans le pied pour rien!
Le #1571692
chibre a écrit :

SyrDK a écrit :

Quelqu'un m'explique un plus mieux sur quoi ils ont triché ? (par mieux, j'entends plus simplement) svp ?


Ils ont triché sur la réaction des coeurs de leur processeur.
En gros, là où un seul coeur aurait dû etre activé dans le benchmark ( le benchmark simulant le stress que ce coeur en question aurait dû subir, par exemple pendant le simple affichage ou l'envois de sms) c'est 4 ou 8 coeurs qui ont été activés.

Resultat : au lieu d'avoir un score reflétant la vraie utilisation du téléphone, le score est largement dopé à cause des 4 ou 8 coeurs qui ont été activés artificiellement au lieu du seul qui aurait normalement dû s'activer.
Ils ont tout simplement "dit" à leur processeur "Bon, dés que l'utilisateur lance un benchmark, tu actives tous tes coeurs et tu te donnes à 100% sur toute la durée du benchmark, peu importe le comportement que ce benchmark simule"

J'espère ne pas dire de bêtise.


Merci bien (je pensais jamais de ma vie remercier un chibre mais bon... haha)

J'ai pas trop compris pourquoi le pouce rouge sinon haha, excusez moi d'être limité sur certains sujets..

ET du coup j'comprends mieux l'arnaque maintenant...
Suivre les commentaires
Poster un commentaire
Anonyme
:) ;) :D ^^ 8) :| :lol: :p :-/ :o :w00t: :roll: :( :cry: :facepalm:
:andy: :annoyed: :bandit: :alien: :ninja: :agent: :doh: :@ :sick: :kiss: :love: :sleep: :whistle: =]