Dans le domaine de l'accessibilité, Facebook annonce le déploiement d'une fonctionnalité baptisée automatic alternative text. Elle s'adresse aux aveugles et personnes malvoyantes afin de leur décrire les photos publiées sur le réseau social mais avec des descriptions générées de manière algorithmique.
Cette fonctionnalité est compatible avec les lecteurs d'écran et veut aller plus loin alors qu'ils se contentent de dire qu'une photo est affichée avec le nom de l'auteur et les éventuels commentaires qui l'accompagnent. Pour proposer une description audio riche des photos partagées sur Facebook, une nouvelle technologie de reconnaissance des objets est utilisée.
Selon Facebook, il pourra s'agir d'une simple description indiquant qu'une photo peut contenir une pizza à des descriptions plus complexes telles que la photo peut contenir trois personnes qui sourient en extérieur. " La reconnaissance des objets s'appuie sur un réseau de neurones artificiel avec des milliards de paramètres et entraîné avec des millions d'exemples ", écrit Facebook.
Actuellement, la technologie peut identifier de manière fiable des concepts couvrant l'apparence des personnes (lunettes, barbe, sourire, bijoux…), la nature (extérieur, montagne, neige, ciel), les transports (voiture, bateau, avion, vélo), les sports et la nourriture. Des concepts qui seront de plus en plus nombreux avec le temps :
Facebook assure que le lancement de automatic alt text n'est que le début avec une technologie qui va être améliorée. Le déploiement concerne les utilisateurs ayant recours à un lecteur d'écran pour accéder à Facebook sur un appareil iOS, et uniquement en anglais pour ceux aux USA, Royaume-Uni, Canada, Australie et en Nouvelle-Zélande.
D'autres plateformes et langues seront ultérieurement concernées. L'annonce de Facebook intervient alors que lors de sa conférence BUILD la semaine dernière, Microsoft a évoqué Seeing AI, un projet de recherche en développement tirant parti de ses APIs d'intelligence artificielle pour permettre aux aveugles et malvoyants d'avoir une description de ce qui les entoure :
