Un front commun composé de chercheurs, de cadres d'OpenAI, Google DeepMind et Anthropic, ainsi que de 70 organisations, a lancé une initiative retentissante lors de la 80ème Assemblée générale des Nations Unies, qui s'est déroulée du 9 au 23 septembre. Cette lettre ouverte exhorte les dirigeants mondiaux à collaborer pour définir des garde-fous contraignants pour l'intelligence artificielle. Le ton est alarmiste, évoquant une trajectoire technologique qui présente des menaces d'une ampleur inédite pour l'humanité. L'objectif affiché est de parvenir à un accord politique international fixant des limites infranchissables d'ici la fin de l'année 2026.
Une demande de limites claires et universelles
La principale revendication des signataires est l'instauration de « lignes rouges » vérifiables, définissant ce que l'IA ne devrait jamais être autorisée à faire. « Si les nations ne parviennent pas encore à s’accorder sur ce qu’elles veulent faire avec l’IA, elles doivent au moins s’accorder sur ce que l’IA ne doit jamais faire », a indiqué Charbel-Raphaël Segerie du Centre français pour la sécurité de l’IA (CeSIA), l'un des initiateurs. L'appel s'inspire de traités historiques qui ont réussi à interdire des technologies jugées trop dangereuses, comme les armes biologiques ou le clonage humain. Parmi les exemples de limites à ne pas franchir, on retrouve :
- Le lancement d'armes nucléaires par une IA,
- Le développement d'armes entièrement autonomes,
- La création d'IA capables de s'autorépliquer sans contrôle humain,
- L'utilisation de l'IA pour la surveillance de masse ou la notation sociale.
Des risques catastrophiques à l'horizon
Les promoteurs de l'appel dressent un tableau inquiétant des périls potentiels. L'IA pourrait bientôt démultiplier des menaces majeures, comme la création de pandémies artificielles, la désinformation à grande échelle, la déstabilisation géopolitique ou encore le chômage de masse. Loin de se limiter à des scénarios de science-fiction, ces risques sont considérés comme imminents par une partie de la communauté scientifique. L'impact de la technologie sur la santé mentale est aussi une préoccupation, suite à des drames où le rôle d'agents conversationnels a été questionné. L'idée est de ne pas attendre un désastre pour agir. « L’objectif n’est pas de réagir après qu’un incident majeur s’est produit… mais de prévenir les risques à grande échelle », précise Charbel-Raphaël Segerie.
Les initiatives passées sont-elles suffisantes ?
Ce n'est pas la première fois que la sonnette d'alarme est tirée. Un appel similaire en 2023 pour un moratoire de six mois avait déjà fait grand bruit, sans pour autant freiner la course effrénée à l'innovation. Quelques garde-fous existent déjà, mais leur portée est limitée. L'Union européenne a son règlement sur l'IA (IA Act) qui interdit certaines pratiques comme le scoring social. La Chine a également sa propre législation. Un accord entre Pékin et Washington stipule que le contrôle des armes nucléaires doit rester humain. Mais ces textes sont nationaux, régionaux ou volontaires. Pour de nombreux experts, sans une réglementation internationale contraignante, les intérêts commerciaux des entreprises primeront toujours sur la sécurité collective.
La proposition d'une nouvelle gouvernance mondiale
Pour s'assurer que ces lignes rouges soient respectées, les signataires préconisent la création d'une institution mondiale indépendante, une sorte de gendarme de l'IA. Niki Iliadis, de The Future Society, un groupe de réflexion international à but non lucratif, insiste sur la nécessité d'un organisme « doté de pouvoirs réels » pour définir, surveiller et faire respecter ces interdictions. L'idée est d'intégrer la notion de sécurité dès la conception des systèmes, une approche défendue par le professeur Stuart Russell de Berkeley. « Les lignes rouges n’entravent pas le développement économique ou l’innovation », a-t-il affirmé, contrant par avance les critiques sur un éventuel frein au progrès. La question reste de savoir si les gouvernements, notamment ceux des pays hébergeant les géants du secteur, accepteront de jouer le jeu d'un tel encadrement.