C'est une décision qui fera date dans la régulation de l'intelligence artificielle générative. La "Garante", l'équivalent de la CNIL en Italie, a ordonné le blocage avec effet immédiat de l'application ClothOff. Le service, géré par une société basée aux îles Vierges britanniques, permet de créer des deep nudes, des images et vidéos factices dépeignant des personnes réelles dans des situations pornographiques. L'affaire a éclaté après que des adolescents ont utilisé l'application sur leurs camarades, propageant ensuite les clichés sur les réseaux sociaux et des sites spécialisés.

Quelles sont les violations reprochées à ClothOff ?

La liste des griefs est longue et sérieuse. L’autorité italienne reproche à ClothOff de ne proposer aucun mécanisme viable pour vérifier le consentement des personnes dont les photos sont utilisées. Le service bafoue plusieurs piliers de la législation européenne, notamment le RGPD qui protège les données personnelles, et le tout récent AI Act. Bien que les conditions d'utilisation de l'application interdisent son usage sur des mineurs ou sans accord, la Garante a jugé ces mesures totalement insuffisantes et inefficaces.

Pire encore, l'entreprise n'a pas mis en place de barrières techniques solides pour empêcher que des mineurs utilisent le service ou que des images d'enfants y soient importées. Face à ces manquements, la Garante a ouvert une enquête et a tenté de contacter la société gestionnaire, AI/Robotics Venture Strategy 3 Ltd, qui n'a pas daigné répondre dans les délais impartis, précipitant la décision de suspension.

Pourquoi le marquage "deepfake" était-il insuffisant ?

L’autorité italienne pointe également un manquement grave à l'obligation de marquage, pourtant essentielle pour identifier un deepfake. Selon l'AI Act, tout contenu manipulé artificiellement doit être clairement étiqueté comme tel. Si ClothOff a bien intégré un filigrane sur les images générées, celui-ci a été jugé « ni adéquat ni approprié ».

Le mot Fake apposé sur les créations est décrit comme « difficilement visible », et la bannière indiquant la provenance de l'image peut être supprimée d'un simple recadrage. Cette discrétion rend les fausses images dangereusement crédibles, augmentant les risques d'atteinte à la dignité et à la vie privée des victimes, qui se retrouvent piégées par des montages paraissant authentiques.

Quel avenir pour les applications d'IA similaires ?

Cette affaire pourrait n'être que la première d'une longue série. Guido Scorza, membre de la Garante, a prévenu que d'autres blocages suivraient, car les boutiques d'applications « en regorgent ». Selon lui, le marché de l’IA actuel « traite les gens comme de la chair à laboratoire ». Il dresse un parallèle cinglant avec l'industrie pharmaceutique : jamais un médicament aux effets secondaires graves ne serait commercialisé après une phase de test.

Pourtant, dans le secteur technologique, c'est l'inverse qui se produit. « Le marché lui-même est devenu le laboratoire où l'on expérimente des technologies encore instables », déplore-t-il. Dans cette course effrénée, l'objectif n'est pas de concevoir les systèmes les plus sûrs, mais bien d'être le premier à inonder le marché et à s'imposer comme la norme, quels que soient les dommages collatéraux. Le blocage de ClothOff est un avertissement clair : l'ère de l'impunité touche peut-être à sa fin.