Les outils de benchmark font partie du paysage mobile et sont massivement utilisés, sans discernement sur leurs limitations, par nombre de sites pour donnée une idée des performances des terminaux. Et puisque les valeurs produites sont considérées par beaucoup comme inscrites dans le marbre, les fabricants de smartphones peuvent être tentés de doper les résultats, ce qui s'avère même être une pratique courante chez plusieurs d'entre eux.
Au-delà de ces désagréments, très vite oubliés jusqu'aux prochaines révélations, les résultats des benchmarks apportent aussi de précieuses informations sur des smartphones pas encore annoncés. Le passage à la moulinette du benchmark des prototypes laisse des traces et livre des données sur leurs caractéristiques, tandis que les scores obtenus donnent une idée du processeur embarqué.
Bon nombre des derniers smartphones et tablettes ont ainsi été repérés bien avant leur présentation officielle via les benchmarks, information dont profite aussi la concurrence. Si les fabricants ont laissé faire jusqu'à présent, la mise en avant plus fréquente de ces données peut les inciter à chercher à en limiter l'accès.
Le site Xperiablog indique ainsi qu'un développeur a eu la surprise de voir s'ouvrir une boîte de dialogue lorsqu'il a volu installer l'application de benchmark AnTuTu sur un prototype de smartphone Sony Xperia. Un message d'avertissement informe que l'utilisateur ne doit absolument pas installer cette application qui peut être source de fuites sur le prototype.
Xperiablog suggère que la boîte de dialogue va plus loin que le seul avertissement en ne laissant pas, semble-t-il, la possibilité d'installer l'application. Il y a donc peut-être une sorte de liste noire des applications de benchmarks au sein de la ROM du prototype.
