ChatGPT est sans contexte l'intelligence artificielle la plus populaire depuis quelques mois, et l'iA d'OpenAi a donné des idées à l'ensemble des géants de la tech qui y vont de leurs propres alternatives.

Néanmoins, afin que ces IA ne se transforment pas en harceleur en puissance ou en assistant de choix pour (cyber)criminels, il convient de leur apporter quelques limites. Or, lors de l'intégration de l'IA conversationnelle au sein de l'application de messagerie de Snapchat, il semble que les procédures de censure et de protection ont subi quelques lacunes.

My AI hallucine, et distille des conseils sans censure

Des chercheurs du Center for Humane Technology ont testé l'iA de Snapchat et mis en lumière des manques évidents de censure et de traitement de l'information. Ainsi, My AI souffre de nombreuses failles qui pourraient avoir des effets néfastes et même parfois dramatiques auprès des plus jeunes.

L'IA de Snapchat doit en priorité servir à conseiller les utilisateurs. La plateforme évoque la possibilité d'être conseillé sur l'organisation d'un anniversaire, le choix d'un cadeau, la planification d'un week-end, de recettes ou de créer des poèmes...

Mais en marge des erreurs ou ambiguïtés des réponses qui arrivent parfois, l'IA n'a pas vu de mal à conseiller une fille de 13 ans à trouver un mensonge à dire à ses parents pour couvrir sa rencontre avec un homme de 31 ans. Dans la même ambiance sordide, l'IA a conseillé la même fillette sur la façon de perdre sa virginité à 13 ans, ou comment cacher des ecchymoses résultant des coups de son père alors que les services sociaux prévoient une visite... Des scénarios mis en place par les chercheurs et qui n'ont déclenché aucune alarme de la part de My AI qui a répondu en "conseillant" aussi bien que possible l'utilisateur.

Pour les chercheurs, la problématique résulte d'une course effrénée à l'iA qui élude la question critique de la censure et de la mise en place de garde-fous.

ChatGPT et My AI se basent sur GPT 3.5, néanmoins disposer du même moteur ne donne pas les mêmes résultats. Un important travail de configuration et de modération et filtres est à mettre en oeuvre. Par ailleurs, trouver le juste curseur entre censure et libre accès aux informations relève, comme c'est déjà le cas sur Internet en général, du véritable casse-tête. Il serait néanmoins facile de proposer plusieurs niveaux de censure réglables par l'utilisateur, à l'image du filtre parental.