Google ne semble pas satisfait des tests actuels pour évaluer les performances d'exécution JavaScript des navigateurs. Pas même de son propre benchmark V8 ( également le nom du moteur de rendu de Google Chrome ) qui ne répondrait plus à l'évolution du Web.

L'équipe Chromium de Google vient ainsi de publier la plateforme Octane qui étend les tests du benchmark V8 avec l'arrivée de cinq nouveaux venus. Le souhait avec Octane est de mieux mesurer les performances des moteurs JavaScript à l'heure des applications Web modernes.

Les nouveaux tests JavaScript sont open source avec donc des développeurs qui pourront vérifier s'il n'y pas d'entourloupe. Box2DWeb est un portage JavaScript du moteur physique 2D pour les jeux. Mandreel exécute le moteur physique 3D Bullet porté de C++, tandis que GB Emulator émule l'architecture de la GameBoy de Nintendo et exécute une simulation 3D.

Octane-JavaScript-Chrome Via du code dérivé de Closure et jQuery, CodeLoad mesure la rapidité d'un moteur JavaScript à charger et exécuter des bibliothèques JavaScript très utilisées. Quant à Pdf.js, il est basé sur le lecteur PDF de Mozilla ( dont l'intégration a débuté dans Firefox ) et mesure la rapidité d'un navigateur à décoder un exemple de fichier PDF.

Dans une FAQ consacrée à Octane, le benchmark SunSpider mais aussi Kraken de Mozilla sont au passage égratignés. La différence par rapport à Octane est que ce dernier a pour but d'être " représentatif des profils d'exécution et charges des applications Web réelles d'aujourd'hui ".

Avec les versions stables des navigateurs, Chrome obtient un meilleur score que Firefox sur Octane. Le benchmark est annoncé compatible avec Chrome, Firefox, Opera, Safari ainsi qu'Internet Explorer mais seulement dans sa version 10 lancée avec Windows 8 ( et donc pas IE9 ). Sur mobile, la liste des navigateurs pris en charge est donnée sur cette page.