Triche sur les benchmarks : OnePlus et Meizu dopent artificiellement leurs scores

Le par  |  15 commentaire(s) Source : XDA Developers
OnePlus 3T

Vous pensiez que la triche sur les résultats de benchmark pour doper les scores de smartphones appartenait au passé ? Certains fabricants s'y adonnent toujours...

Les résultats de benchmark sont devenus incontournables dans l'appréciation des smartphones et l'information qu'ils sont censés apporter sur les performances de l'appareil mobile dans un contexte donné se rapprochant plus ou moins d'un usage au quotidien se résume souvent au score final.

Dans ce contexte, avoir le meilleur score constitue un argument d'autorité pour affirmer qu'un smartphone est "meilleur" qu'un autre, oubliant qu'un smartphone est un ensemble de différentes composantes qui ne se limite pas à la seule puissance brute délivrée et dont les optimisations propres ne sont pas toujours quantifiées dans les benchmarks.

Il peut donc être tentant pour des fabricants de smartphones de faire en sorte que leur appareil passe en mode survitaminé quand il détecte le lancement d'un benchmark afin de gagner quelques points supplémentaires et d'être mieux classé que les concurrents.

En 2013, le groupe Samsung, mais aussi plusieurs fabricants en vue, avaient été pris la main dans le sac avec la découverte d'un mécanisme qui faisait tourner les coeurs du SoC à pleine cadence le temps des benchmarks, selon un mode de fonctionnement qui n'avait plus grand-chose à voir avec l'évaluation de la réactivité du smartphone dans des conditions proches de l'usage quotidien.

Cela avait fait pas mal de bruit à l'époque et des dispositions avaient été prises pour empêcher cette triche dans les benchmarks. Il apparaît cependant que certains fabricants s'y adonnent toujours, quatre ans plus tard.

Le site XDA Developers cite les cas de OnePlus et de Meizu dont il a observé que les coeurs des processeurs des smarpthones passaient dans un mode surcadencé lorsqu'ils détectaient le lancement d'un outil de benchmark.

En collaboration avec Primate Labs, créateur de Geekbench, et après analyse de la ROM d'un OnePlus 3T, il est apparu que ce mode était activé dès que l'appareil mobile détectait le lancement de benchmarks tels que Geekbench, AnTuTu, Androbench, Quadrant, Vellamo et GFXBench.

OnePlus 3T triche benchmark
(credit : XDA Developers)

L'utilisation d'une version camouflée de Geekbench, non détectable, a d'ailleurs montré que le OnePlus 3T n'activait alors pas ce mode dopé. L'un des problèmes généré par ce mode est que s'il accroît artificiellement les performances (et donc ment sur la réalité des résultats obtenus), il conduit également à sortir des contraintes thermiques naturelles pour éviter de se retrouver avec un throttling amputant brusquement les performances de l'appareil.

Contacté, OnePlus a promis de cesser d'utiliser ce mode dans les tests de benchmark mais il compte le maintenir pour les jeux. Le OnePlus 3T offrant de bonnes performances par ailleurs, ce système d'activation spécifique aux benchmarks ne semble vraiment être là que pour monter dans les classements.

Chez Meizu également, XDA Developers a découvert des choses étonnantes. Critiqué pour une utilisation très parcimonieuse des coeurs les plus puissants des SoC embarqués dans ses smartphones, le fabricant chinois semble pourtant les activer spécialement pour les tests de benchmarks lorsqu'ils sont détectés.

Là aussi, l'utilisation d'une version camouflée de Geekbench donne des résultats très différents aussi bien sur les tests single core que multicore. XDA Developers note toutefois que les fabricants surpris à tricher il y a quelques années semblent désormais rester à distance de ces pratiques.

Complément d'information

Vos commentaires Page 1 / 2

Gagnez chaque mois un abonnement Premium avec GNT : Inscrivez-vous !
Trier par : date / pertinence
Le #1948735
Luxus ... Ton monde s'effondre ...
Le #1948737
Décidément...
Après #DieselGate c'est #BenchGate, je trouve qu'exploiter de la sorte est honteux et voir même sans intérêt, autant d'exploiter les cores inutilisés pour les jeux pour la multi-tâche plutôt que de tricher dans les benchs et de vendre quelque chose de moins performant qu'il ne l'est.
Anonyme
Le #1948738
Oh la la ! Quelle surprise ! Les bras m'en tombent

"Dans ce contexte, avoir le meilleur score constitue un argument "
Celui permettant à Kevin de démontrer l'importance de sa déficience mentale.

Je me demande si Kevin serait aussi fier de son score si quelqu'un venait à souligner
le fait que les tests ne sont pas effectués sur le même système d'exploitation et que
les résultats ne sont donc par conséquent pas comparables à ceux obtenus par
d'autres équipements du marché SHUUUUUUT.
Le #1948739
C'est comme les moteurs truqués chez VW, là ça détecte un benchmark et donc ça fausse les résultats.
C'est comme les speed tests qui ne reflètent pas la réalité quand on télécharge, et selon le site c'est plus ou moins bridé et on atteint rarement le max théorique.
Anonyme
Le #1948740

En collaboration avec Primate Labs, créateur de Geekbench, et après analyse de la
ROM d'un OnePlus 3T,



Ok super sur la ROM stock du OnePlus 3T, en l'occurrence est optimisé et cheaté pour monté dans les classements benchmarks.

Deuxième lectures :

Mes OnePlus 3/3T sont sous ROM customs LOS avec kernel et recovey custom ainsi que le firmware de modifié.

LOS AICP OP3 : ~158 000 pts Antutu sans OC
LOS RR OP3T : ~166 000 pts Antutu sans OC

Alors vraiment, si ça les amuses de cheater les scores sur la ROM stock Oxygen OS du Oneplus 3T dans Antutu parce que la ROM est sur une ancienne version du kernel et qu'en plus de ça par defaut le kernel force le chiffrement du smartphone donc forcément tu perds en IO en UX et en performances globales, c'est entre moins ~3000 et 8000 pts, ça ne me fait n'y chaud n'y froid.

Les scores atteints par mes smartphones eux ne sont pas cheatés et reflètent bien pour le coup ses performances mais c'était sûr que des gens aller cracher leur venin, en même temps je comprends même pas pourquoi ils font ça sur la ROM d'origine du smartphone, il n'en a vraiment pas besoins pourtant.
Le #1948754
Peut-on encore avoir confiance en quelque chose ici bas ?
Le #1948756
Ulysse2K a écrit :

Peut-on encore avoir confiance en quelque chose ici bas ?


En ta capacité à troller ? ...
Le #1948764
Bon, le leader Samsung a arrêté de jouer avec ça, c'est déjà ça de pris
Anonyme
Le #1948768
Ulysse2K a écrit :

Peut-on encore avoir confiance en quelque chose ici bas ?


Demande à ta femme
Le #1948798
Et ça étonne quelqu'un cette nouvelle ?
On me dirait que ce sont des tests aléatoires ça ne me choquerait pas .
Suivre les commentaires
Poster un commentaire
Anonyme
:) ;) :D ^^ 8) :| :lol: :p :-/ :o :w00t: :roll: :( :cry: :facepalm:
:andy: :annoyed: :bandit: :alien: :ninja: :agent: :doh: :@ :sick: :kiss: :love: :sleep: :whistle: =]