A l'heure des inquiétudes concernant le potentiel nocif des intelligences artificielles sur l'humanité, une expérimentation de l'armée américaine donne matière à réfléchir et semble confirmer la nécessité d'avancer prudemment sur ce terrain très neuf.
Le colonel de l'Armée de l'Air US Tucker Hamilton a évoqué lors d'une réunion de la Société Royale d'Aéronautique britannique un incident intervenu au cours d'un test utilisant un drone piloté par un opérateur humain assisté d'une intelligence artificielle.
L'objectif pour l'IA était de distinguer les positions amies ou ennemies et de détruire des sites de missiles anti-aériens, cette dernière opération ne pouvant être validée qu'après accord de l'opérateur humain.
Quand l'humain gêne l'IA
Dans certains cas, l'IA a bien identifié la cible mais l'opérateur n'a pas donné le feu vert pour sa destruction. Or, le système de récompense de l'IA lui donnait plus de points lorsque la cible était détruite.
Au bout d'un certain temps, l'IA a considéré que l'opérateur l'empêchait d'obtenir la meilleure gratification et a tenté de le supprimer puisqu'il constituait un obstacle pour atteindre le meilleur score.
En reprogrammant l'intelligence artificielle pour attribuer de mauvaises en cas de de suppression de l'opérateur humain, l'IA du drone a de nouveau trouvé une parade : détruire les systèmes de communication le liant à l'opérateur de manière là encore à ne plus avoir de contraintes et obtenir les meilleurs scores de sa programmation.
Fort heureusement, il ne s'agissait que d'une simulation évaluant le potentiel du machine learning dans le pilotage et la prise de décision d'un drone militaire en situation de combat.
Quelles limites donner à l'IA ?
L'exemple est cependant édifiant et confirme la nécessité de bien cerner les capacités et conséquences des actions des intelligences artificielles. Toutefois, le manque de détails sur le déroulement de cette opération ne permet pas de cerner complètement ce qui s'est passé.
Par exemple, note le site The Register, l'IA du drone a-t-elle outrepassé les ordres de l'opérateur lorsqu'elle s'est attaquée à lui ? Les directives de ce dernier surpassaient-elles les autres impératifs de l'IA ou n'était-elle qu'une information d'un certain poids parmi une foule de paramètres, au point de pouvoir l'ignorer dans certaines circonstances ?
Il y a aussi la question du mode de programmation de l'IA. On sait déjà que le système de récompense couramment utilisé pour atteindre un objectif défini peut aboutir à des dérives. Et cela pourrait théoriquement aller jusqu'au point où l'IA considère que les humains sont un obstacle à la réalisation de ses objectifs ou une concurrence à éliminer. D'où la crainte exprimée récemment concernant un risque d'extinction de l'humanité.
Cela confirme en tous les cas que l'apprentissage de l'IA doit être soigneusement défini et contrôlé. On a déjà pu le voir avec nombre de chatbots finalement débranchés après des conversations dérivant vers du racisme, de la discrimination ou des menaces lorsqu'ils étaient poussés dans leurs retranchements.
Les demandes de pause dans le développement des IA afin de se laisser le temps de poser un cadre juridique ont sans doute peu de chances d'aboutir mais la nécessité d'installer des garde-fous semble plus que jamais nécessaire alors que l'intelligence artificielle tend à s'inviter dans toutes les activités humaines.
Au-delà, c'est aussi la question de l'autonomie de l'intelligence artificielle dans des armements qui est posée. Les films de science-fiction ne manquent pas pour prédire des systèmes d'arme échappant au contrôle des humains.
