CaptionBot : expérience sous IA parfois cocasse de Microsoft

Le par Jérôme G.  |  3 commentaire(s)
numerique

Dévoilée à l'occasion de sa conférence BUILD, une nouvelle démo en ligne de Microsoft doit proposer une description détaillée de n'importe quelle image soumise. Parfois impressionnant d'exactitude et parfois ubuesque.

Vision informatique, reconnaissance d'image, traitement en langage naturel et machine learning. Microsoft poursuit ses expérimentations, tout en continuant de plancher sur son projet Seeing AI exploitant ses APIs d'intelligence artificielle afin de permettre aux aveugles et malvoyants d'avoir une description de tout ce qui les entoure.

Dans la lignée de How-Old.net, TwinsOrNot.net, MyMoustache.net, What-Dog.net ou encore CelebsLike.me, la nouvelle expérience en ligne se nomme CaptionBot. Elle se veut être une démonstration technologique des Microsoft Cognitive Services.

En préversion, ce sont actuellement la vingtaine d'interfaces de programmation qui étaient proposées sous l'égide de Project Oxford avant que celui-ci ne soit rebaptisé à l'occasion de la dernière conférence BUILD pour les développeurs. Ces derniers peuvent les essayer gratuitement.

CaptionBot tire parti des API basées sur le cloud donnant accès à des algorithmes pour traiter des images et analyser le contenu visuel présent, ainsi que pour reconnaître des émotions (expression faciale) avec un niveau de confiance plus ou moins élevé. La recherche d'images Bing est aussi exploitée.

CaptionBot a tout bon

Dans la pratique, une image est soumise ou une URL. Le service génère alors automatiquement un résultat avec une description en fonction de ce que les algorithmes ont détecté. CaptionBot n'est toutefois pas toujours très sûr de ce qu'il a perçu et le signale le cas échéant.

CaptionBot prend Michelle Obama pour un téléphone portable

Forcément, des internautes ont tenté de faire tourner en bourrique le bot qui se révèle plus ou moins habile selon les cas. Certains résultats sont d'une étonnante exactitude quand d'autres font un flop ou que CaptionBot reste perplexe. Mais il est en phase d'apprentissage continu. Sur Twitter, le hashtag #captionbot fédère des résultats proposés par CaptionBot. Il est possible de se faire sa propre idée en se rendant à l'adresse captionbot.ai.

Crime de lèse-majesté... CaptionBot identifie des girafes près d'une bouteille de vin


  • Partager ce contenu :
Complément d'information

Vos commentaires

Trier par : date / pertinence
Safirion Hors ligne VIP icone 40201 points
Le #1890439
Ca fonctionne plutôt pas mal avec les visages
ahtur Hors ligne VIP avatar 5539 points
Le #1890555
"Mais il est en phase d'apprentissage continu."

Ok donc bientôt il va voir des b*tes partout...
Safirion Hors ligne VIP icone 40201 points
Le #1890614
ahtur a écrit :

"Mais il est en phase d'apprentissage continu."

Ok donc bientôt il va voir des b*tes partout...


PTDR
icone Suivre les commentaires
Poster un commentaire