Dès les débuts de l'intelligence artificielle pour tous sous forme de chatbots comme ChatGPT lancés fin 2022, un problème est apparu au milieu de la fascination pour ces agents conversationnels ayant réponse à tous ou presque : une partie de leurs réponses sont fantaisistes.
La problématique de l'hallucination de l'IA qui amène cette dernière à proposer une réponse fausse ou inventée à une requête mais assénée avec certitude, est plus complexe qu'elle n'en a l'air et ne peut pas forcément se résoudre en augmentant la capacité de traitement et de réflexion des intelligences artificielles.
Pour preuve, l'essor des modèles d'IA dotées de capacités de raisonnement, qui leur permet d'analyser plus finement les requêtes et de formuler des réponses enrichies, a également conduit à une hausse du taux d'hallucination.
Raisonner ne veut pas dire moins halluciner
OpenAI avait relevé que ces modèles o3 et o4-mini avaient des taux d'hallucination respectifs de 33% et 48% quand, en comparaison le modèle o1 n'offrait qu'un taux de 16%.
Cela ne concerne pas seulement la firme d'OpenAI et, globalement, tous les modèles d'IA avec raisonnement ont vu leur taux d'hallucination augmenter significativement.
Réduire cette faculté à inventer des réponses imaginaires est une tâche difficile et les promesses d'une disparition de cette problématique, qui impacte l'intérêt même des chatbots, avec les progrès des algorithmes et le renforcement des infrastructures, restent difficiles sinon impossibles à tenir.
Si le taux d'hallucination semblait effectivement se réduire avec les évolutions des premiers modèles d'IA, le passage au modèle de raisonnement a relancé la problématique des hallucinations, en attendant les améliorations qui permettront de les contenir...mais pas de les empêcher.
L'hallucination semble ainsi être une capacité inhérente à l'intelligence artificielle dont il faudra peut-être composer avec...et se résoudre à ne jamais atteindre un niveau de fiabilité des réponses qui éviterait le besoin d'une vérification.
Quelle fiabilité accorder aux réponses des chatbots ?
C'est un vrai problème dans la mesure où les chatbots sont déjà utilisés dans certaines professions pour apporter des réponses à des questionnements complexes.
Il faut sans doute vaincre l'idée que l'IA a la réponse idéale à toutes les questions. Elle peut aussi se tromper dans une certaine mesure et cet élément doit être pris en compte, surtout si la réponse aura un impact direct sur une activité ou la vie de personnes.
Confier la totalité de sa réflexion à l'intelligence artificielle n'est sans doute pas l'option la plus pertinente mais comme souvent mais elle annonce des difficultés à venir : si détecter une hallucination sur une question simple n'est pas forcément très compliqué et sans conséquence, qu'en sera-t-il des réponses extraites de vastes quantités de documents ou de données et difficilement vérifiables sans perdre le bénéfice de la rapidité de l'IA pour les traiter ?
