Avec des plates-formes hardware qui sont bien souvent les mêmes dans les smartphones, il n'est pas facile pour les fabricants de se distinguer dans les benchmarks.
Les optimisations logicielles peuvent contribuer à améliorer les scores mais rarement au point de créer une véritable différenciation. La tentation peut être alors de placer le smartphone dans un mode très favorable aux benchmarks mais d'autant moins représentatif de son fonctionnement au quotidien.
Plusieurs fabricants ont été pointés du doigt ces dernières années pour avoir triché dans les benchmarks afin d'obtenir un postionnement plus élevé dans les classements.
OnePlus 9 Pro
Sans aller jusqu'à accuser ouvertement OnePlus de triche, le site AnandTech a observé un comportement curieux du OnePlus 9 Pro qui semble forcer les applications populaires à ne tourner que sur les coeurs économiques du CPU tandis que les applications de benchmarks sont systématiquement dirigées vers les coeurs puissants du SoC et notamment vers le coeur Prime (ARM Cortex-X1).
Cela conduit à des performances des applications en-dessous de ce qu'elles pourraient être tandis que les benchmarks peuvent tourner à plein régime et produire des résultats élevés...mais finalement non représentatifs du fonctionnement au quotidien.
Optimisation trop poussée ou manipulation des benchmarks ?
AnandTech suggère que le smartphone est suffisamment puissant pour que cela ne se voit pas au premier coup d'oeil mais suggère que l'effet est visible comparé à d'autres smartphones.
L'auteur de l'article n'écarte pas la piste d'une recherche d'optimisation (pour préserver l'autonomie, par exemple) un peu trop agressive mais note le détail troublant de la présence d'une "liste noire" composée des applications les plus populaires du Play Store automatiquement freinées tandis que des applications moins connues ne sont pas affectées par la restriction d'accès aux coeurs puissants.
Quoi qu'il en soit, les résultats des benchmarks s'en trouvent faussés puisqu'ils ne donnent qu'un résultat idéal que l'utilisateur ne rencontrera finalement jamais dans son usage quotidien.
Cet aspect a conduit Geekbench à délister les OnePlus 9 et OnePlus 9 Pro de son benchmark en notant que les smartphones font leur choix de performance en fonction d'une liste préétablie d'applications et non selon le comportement de ces dernières, ce qu'il considère comme une forme de manipulation des benchmarks.
On notera que ce n'est pas la première fois que OnePlus est soupçonné d'embellir les résultats de benchmark pour ses smartphones, le fabricant ayant déjà été épinglé ces dernières années.
