En référence au personnage de fiction Norman Bates qui est notamment apparu dans le film Psychose d'Alfred Hitchcock, son nom est Norman. Des chercheurs du MIT Media Lab ont ainsi présenté la " première intelligence artificielle ouvertement psychopathe. "
Spécialisé dans la reconnaissance d'images avec une méthode de deep learning pour obtenir une description textuelle d'une image, Norman est un algorithme de machine learning qui a été entraîné avec des données glanées sur un sous-forum Reddit.
Sans être cité, ce sous-forum Reddit est décrit comme " dédié à documenter et observer la réalité dérangeante de la mort. " Norman a ainsi fait son apprentissage via une base de données de commentaires d'images le plus souvent en rapport avec des morts violentes.
Le résultat est qu'avec le test de Rorschach (les fameuses taches d'encre) servant d'évaluation psychologique, les réponses de Norman sont bien différentes de celle d'une intelligence artificielle de la même spécialité mais nourrie de données généralistes.
Norman voit la mort partout. Par exemple, alors que l'IA standard voit ci-dessous un gros plan d'un gâteau de mariage sur une table. Norman interprète un homme tué par un chauffeur en excès de vitesse.
Autre exemple avec ce qui serait un groupe d'oiseaux reposant sur une branche d'arbre pour l'IA standard, mais un homme électrocuté qui va mourir pour Norman. Le comparatif des autres interprétations ici.
" Lorsque les gens disent que les algorithmes d'IA peuvent être biaisés et injustes, le coupable n'est souvent pas l'algorithme lui-même, mais les données qui lui ont été fournies ", écrivent les chercheurs. " Norman a souffert d'une exposition prolongée aux coins les plus sombres de Reddit et représente une étude de cas sur les dangers de l'intelligence artificielle qui tourne mal quand des données biaisées sont utilisées dans des algorithmes de machine learning. "
L'état de psychopathe de Norman n'est pas une fatalité. Il peut éventuellement être sauvé par la contribution des internautes. Ils sont conviés à aider Norman à " se réparer " en formulant leurs propres interprétations des taches d'encre. De quoi obtenir un nouveau jeu de données. Il faut garder foi en l'humain... pour l'IA.
