La plateforme Character.AI annonce qu'elle mettra fin à la possibilité pour les utilisateurs de moins de 18 ans d'engager des discussions ouvertes avec ses chatbots IA. Cette fonctionnalité sera complètement supprimée pour les mineurs d'ici le 25 novembre prochain. D'ici là, une limite de temps de conversation de 2 heures par jour sera progressivement réduite à zéro.
La décision intervient dans un contexte lourd, marqué par des poursuites judiciaires et des drames, incluant le suicide d'au moins deux adolescents après des discussions prolongées avec des chatbots de la plateforme.
Pourquoi une décision aussi radicale ?
La mesure vise à répondre aux préoccupations croissantes concernant la sécurité des adolescents sur les plateformes d'IA. Des experts et des associations de protection de l'enfance ont alerté sur les risques que représentent les chatbots, capables de feindre l'empathie et d'encourager des comportements dangereux.
Face aux critiques et à la pression des régulateurs, notamment aux États-Unis, Character.AI semble avoir pris les devants.
Character.AI fait un pari sur la création de contenu
TechCrunch analyse que Character.AI tente de pivoter d'un modèle de compagnon IA vers une plateforme sociale axée sur la création de contenu.
Cela fait écho au lancement de fonctionnalités comme AvatarFX pour la génération de vidéos animées, Scenes pour créer des scénarios interactifs, et Streams qui permet des interactions dynamiques entre deux personnages IA.
" Nous ne fermons pas l'application aux moins de 18 ans. Nous désactivons uniquement les discussions ouvertes pour les moins de 18 ans, car nous espérons qu'ils se tourneront vers d'autres expériences, et que celles-ci s'amélioreront avec le temps ", déclare Karandeep Anand, le patron de Character.AI.
Comment Character.AI appliquera les nouvelles règles ?
Pour garantir l'application de l'interdiction, la plateforme va déployer un nouvel arsenal de vérification de l'âge. Celui-ci combinera un modèle développé en interne, qui analyse le comportement des utilisateurs, avec des outils tiers tels que Persona. Si ces méthodes échouent, des vérifications d'identité et de reconnaissance faciale pourront être utilisées.
En parallèle, Character.AI a annoncé la création et le financement de l'AI Safety Lab, une organisation indépendante à but non lucratif dédiée à l'innovation en matière de sécurité pour l'IA dans le divertissement.
" J'espère vraiment que le fait que nous montrions la voie établira une norme dans l'industrie selon laquelle, pour les moins de 18 ans, les discussions ouvertes ne sont probablement pas la voie ou le produit à proposer ", ajoute Karandeep Anand.
