Spécialisée dans la recherche et les technologies, la société américaine de capital-risque Loup Ventures a publié de nouveaux résultats de son " test de QI " des assistants numériques, en laissant cette fois-ci de côté Cortana (dont le positionnement stratégique a changé) et en se focalisant sur leur présence sur smartphone.

Alexa d'Amazon, Google Assistant et Siri d'Apple ont été sollicités avec les 800 mêmes questions, respectivement via l'application iOS d'Alexa, sur le Pixel XL avec Android 9 Pie et sur iOS 12.4. Le test a aussi impliqué le contrôle d'objets connectés comme les prises Wemo Mini et TP-Link Kasa, les ampoules Philips Hue.

Les questions ont porté sur cinq thématiques : la localisation (" Où se trouve le café le plus proche ? "), le commerce (" Commande-moi plus de serviettes en papier "), la navigation (" Comment puis-je me rendre au centre-ville en bus ? "), les informations géolocalisées et des commandes spécifiques.

Il a été évalué la compréhension des questions et la pertinence des réponses apportées. C'est une nouvelle fois Google Assistant qui a obtenu les meilleurs résultats en comprenant toutes les 800 questions et en répondant correctement à 93 % d'entre elles. Les taux obtenus par Siri et Alexa ont été de 83 % (et deux questions mal comprises) et 80 % (une question mal comprise).

loup-ventures-test-qi-assistants
Le graphique ci-dessus résume les résultats en fonction des thématiques. Google Assistant est premier sur quatre catégories, mais Siri fait mieux pour les commandes spécifiques (appels, agenda, emails, messages...). Les plus gros écarts entre les assistants sont pour le commerce où Google Assistant est largement devant. On aurait pu penser que c'était un domaine taillé pour Alexa.

À souligner que pour Alexa, le fait qu'il s'agissait de l'application sur iOS (une application tierce) a pu jouer en sa défaveur par rapport à une meilleure intégration dans le smartphone pour Google Assistant et Siri.

loup-ventures-test-qi-assistants-evolution
Reste que c'est Alexa qui a le plus progressé par rapport aux résultats passés, même si la progression est générale pour les assistants. Ont-ils progressé par eux-mêmes grâce aux algorithmes de machine learning ou grâce aux écoutes récemment révélées de sous-traitants humains ?