Vision informatique, reconnaissance d'image, traitement en langage naturel et machine learning. Microsoft poursuit ses expérimentations, tout en continuant de plancher sur son projet Seeing AI exploitant ses APIs d'intelligence artificielle afin de permettre aux aveugles et malvoyants d'avoir une description de tout ce qui les entoure.

Dans la lignée de How-Old.net, TwinsOrNot.net, MyMoustache.net, What-Dog.net ou encore CelebsLike.me, la nouvelle expérience en ligne se nomme CaptionBot. Elle se veut être une démonstration technologique des Microsoft Cognitive Services.

En préversion, ce sont actuellement la vingtaine d'interfaces de programmation qui étaient proposées sous l'égide de Project Oxford avant que celui-ci ne soit rebaptisé à l'occasion de la dernière conférence BUILD pour les développeurs. Ces derniers peuvent les essayer gratuitement.

CaptionBot tire parti des API basées sur le cloud donnant accès à des algorithmes pour traiter des images et analyser le contenu visuel présent, ainsi que pour reconnaître des émotions (expression faciale) avec un niveau de confiance plus ou moins élevé. La recherche d'images Bing est aussi exploitée.

CaptionBot a tout bon

Dans la pratique, une image est soumise ou une URL. Le service génère alors automatiquement un résultat avec une description en fonction de ce que les algorithmes ont détecté. CaptionBot n'est toutefois pas toujours très sûr de ce qu'il a perçu et le signale le cas échéant.

CaptionBot prend Michelle Obama pour un téléphone portable

Forcément, des internautes ont tenté de faire tourner en bourrique le bot qui se révèle plus ou moins habile selon les cas. Certains résultats sont d'une étonnante exactitude quand d'autres font un flop ou que CaptionBot reste perplexe. Mais il est en phase d'apprentissage continu. Sur Twitter, le hashtag #captionbot fédère des résultats proposés par CaptionBot. Il est possible de se faire sa propre idée en se rendant à l'adresse captionbot.ai.

Crime de lèse-majesté... CaptionBot identifie des girafes près d'une bouteille de vin