Spécialisé dans les tests automatisés pour les applications Web, Sauce Labs s'appuie sur une suite d'outils Selenium pour des tests unitaires via sa plateforme à la demande. Plus de 55 millions de tests menés au cours des dernières années ont été gardés en mémoire ainsi que les plantages des navigateurs.
Sauce Labs propose ainsi un palmarès des navigateurs en fonction de leur taux d'erreur lors des tests. Toutes versions confondues, ce classement est cinglant pour Internet Explorer qui obtient la palme du plus mauvais avec un taux d'erreur de 0,25 %. Le meilleur est Firefox.
Certes, un taux de 0,25 % peut paraître faible mais il est jugé significatif pour des testeurs d'applications qui ont dû réaliser des milliers de tests.
Toutefois, dans le classement ci-dessus, Internet Explorer est pénalisé par ses anciennes versions que sont IE6, IE7 voire IE8. Au fil du temps, Sauce Labs note que le navigateur de Microsoft s'est amélioré avec un taux d'erreur qui n'a cessé de diminuer pour tomber à 0,05 % avec IE10.
En se basant sur les versions des navigateurs les plus à jour ou presque, le palmarès n'est pas de même nature. Le navigateur le plus mauvais est alors Safari 6 même si son taux d'erreur de 0,12 % ne fait pas sauter au plafond.
Opera 12 obtient 0,08 %. Moins bien donc que IE10 avec 0,05 %. Une nouvelle fois, le meilleur n'est pas Chrome 27 ( moins de 0,02 % ) mais bel et bien Firefox et en l'occurrence sa version 22 avec virtuellement aucune erreur.
De manière générale, Sauce Labs retient que les navigateurs deviennent plus fiables à mesure que plus de versions sortent. Et c'est heureux...
