Agence de marketing numérique basée aux États-Unis, Stone Temple mène une étude sur les assistants vocaux d'appareils et l'évaluation de certaines de leurs capacités. En l'occurrence, l'accent est mis sur leur aptitude à fournir des réponses directes à des questions spécifiques des utilisateurs.
Il s'agit donc essentiellement de la capacité à proposer des réponses factuelles. L'aide pour par exemple réserver un restaurant n'est pas prise en compte. Ces réponses peuvent provenir de bases de données comme le Knowledge Graph de Google, ou être extraites de sites web tiers.
Pour la dernière édition de l'étude, les appareils en présence sont en rapport avec Alexa (Amazon), Cortana (Microsoft) sur l'enceinte connectée Invoke, Google Assistant sur Google Home et sur smartphone, et Siri (Apple).
Le test porte sur près de 5 000 questions. Les mêmes questions sont posées aux assistants dits intelligents afin de déterminer lequel répond de la manière la plus correcte. Le test détermine si l'assistant répond verbalement, combien de fois il ne comprend pas la requête, s'il tente de répondre mais se trompe...
Les principaux résultats sont résumés dans le graphique ci-dessous. Google Assistant tente le plus grand nombre de réponses et obtient le plus grand nombre de réponses correctes. Toutefois, Google Assistant fait étrangement mieux sur smartphone qu'avec Google Home.
Tentatives de réponses / Réponses complètes et correctes
Derrière Google Assistant arrive Cortana. Alexa et surtout Siri accusent du retard sur leurs concurrents. Un point intéressant est une comparaison de l'évolution par rapport au test de 2017 (où Google Assistant sur smartphone n'avait pas été testé).
Tous les assistants ont progressé sur le nombre de tentatives de réponse. La progression est particulièrement notable pour Alexa.
2017 vs 2018 : tentatives de réponse
Sur l'exactitude des réponses, Cortana est le seul assistant a connaître une progression. C'est moins bon pour les autres, même s'il s'agit davantage de réponses incomplètes et pas nécessairement fausses.
2017 vs 2018 : réponses complètes et correctes
D'autres résultats de l'étude sont disponibles ici. Pour Stone Temple, Google Assistant sur smarpthone est le leader, mais Cortana n'est plus très loin en seconde position. Tout deux sont aussi les plus enclins à puiser dans des extraits de sites web.
En un an, c'est Alexa qui a la plus progressé. Siri reste en retrait mais progresse également. Une simple question de big data ?
