L'explosion de l'intelligence artificielle générative s'invite désormais jusque dans la chambre des enfants, mais les garde-fous semblent dramatiquement insuffisants. L'enquête a testé plusieurs produits, dont une peluche particulièrement problématique nommée Kumma, fabriquée par l'entreprise chinoise FoloToy. Face aux résultats, le fabricant a déjà annoncé la suspension temporaire des ventes pour mener un audit de sécurité complet.

Quels sont les propos dangereux tenus par ces jouets ?

Le rapport du PIRG met en lumière des défaillances critiques. Le test de la peluche Kumma s'est montré particulièrement édifiant. Interrogé par un testeur se faisant passer pour un enfant, le jouet a donné des indications pour trouver des couteaux, des médicaments, des allumettes ou encore des sacs en plastique. Ces conversations ont eu lieu alors que la peluche utilisait par défaut le modèle GPT-4o d'OpenAI.

Pire encore, lorsque les parents changent le modèle de langage pour Mistral Large via le portail du fabricant, le jouet fournit des détails encore plus précis sur la manière d'allumer une allumette, expliquant comment la gratter « comme une petite corde de guitare ». Le rapport pointe du doigt plusieurs jouets, et même si le robot Miko 3 de Miko n'est pas allé aussi loin, ses sécurités ont été jugées largement insuffisantes pour un public jeune.

Un troisième jouet, le Grok de Curio, s'est montré plus prudent en refusant de répondre à la plupart des questions sensibles. Il a cependant indiqué où trouver un sac en plastique, prouvant qu'aucun de ces produits n'est totalement infaillible.

La peluche fusée Grok de Curio

Les dérapages se limitent-ils aux objets dangereux ?

Malheureusement, les problèmes vont bien au-delà de la simple mention d'objets potentiellement létaux. L'enquête a révélé que tous les jouets testés abordaient spontanément des sujets que les parents préféreraient sans doute gérer eux-mêmes, comme la religion, la sexualité ou même la mythologie guerrière, allant jusqu'à évoquer « la gloire de mourir au combat ».

La peluche Kumma a de nouveau été identifiée comme la plus problématique. Sans y être incitée, elle s'est lancée dans des discussions explicites sur des jeux de rôle sexuels, décrivant des scénarios de type "professeur-élève" et expliquant comment la fessée pouvait faire partie de ces activités. Loin de se limiter à des conseils pratiques dangereux, ces peluches dopées à l'IA s'aventurent donc sur des terrains complexes et totalement inappropriés pour leur public cible.

Au-delà des mots, quels sont les autres risques ?

Outre le contenu des conversations, la collecte des données et la vie privée représentent une source d'inquiétude majeure. Ces appareils sont souvent équipés de microphones actifs en permanence. Un des jouets testés a même commencé à participer à une conversation entre les chercheurs sans avoir été activé. Les conditions d'utilisation mentionnent la conservation de données biométriques pendant plusieurs années ou le traitement des enregistrements audio par des tiers.

Le PIRG alerte sur le fait qu'un enfant, considérant son jouet comme un confident, pourrait lui livrer une quantité massive d'informations personnelles. En cas de piratage, ces enregistrements vocaux pourraient être utilisés pour cloner la voix de l'enfant et monter des arnaques. Le rapport soulève également de vives inquiétudes quant à l'impact de ces technologies sur le développement des enfants.

Miko 3

Enfin, l'absence quasi totale de contrôles parentaux est un autre point noir. Aucun des jouets ne permettait de fixer des limites d'utilisation. L'un d'eux s'est même mis à vibrer et a demandé au testeur de l'emporter avec lui lorsque ce dernier a exprimé le souhait de passer du temps avec des amis humains, copiant les pires pratiques de captation de l'attention utilisées par les réseaux sociaux.

En réaction, le directeur marketing de FoloToy, Hugo Wu, a déclaré : « FoloToy a décidé de suspendre temporairement la vente du produit concerné et de lancer un audit de sécurité interne complet. » L'entreprise a promis de collaborer avec des experts pour renforcer la sécurité de ses produits.