Et si la méthode la plus efficace pour évaluer l'intelligence d'une machine consistait à lui soumettre une question élaborée pour déstabiliser l'esprit humain ? Des chercheurs de l'Université de Cambridge et de l'Université hébraïque de Jérusalem ont tenté un coup audacieux en soumettant ChatGPT-4 à une fameuse énigme du dialogue Ménon de Platon.
Au-delà d'être une simple épreuve de connaissance, l'expérience avait pour but d'examiner l'essence même du « raisonnement » de l'IA. L'issue est inattendue : le chatbot a non seulement raté, mais son faux pas s'est révélé plus instructif que la réponse correcte.
Quelle était cette devinette ancienne ?
Le problème, souvent dénommé le « doublement du carré », présente une simplicité illusoire. L'énigme, formulée par Socrate à un jeune esclave, questionne sur la façon de construire un carré dont l'aire est précisément deux fois celle du carré de départ. L'intuition suggère de doubler la longueur des côtés, ce qui en fait quadrupler l'aire.
La solution, au design géométrique soigné, propose d'utiliser la diagonale du premier carré en tant que côté du nouveau. Pour les chercheurs, ce défi était idéal : il nécessite une résolution non intuitive et basée sur la logique spatiale, un domaine où les IA formées sur des textes sont théoriquement moins performantes.
Quelle a été la réaction de ChatGPT face au problème ?
La réponse de ChatGPT-4 a laissé les scientifiques perplexes. Initialement, il a négligé l'approche géométrique pour présenter une solution algébrique reposant sur des racines carrées. Par la suite, incité par les chercheurs, il a finalement réussi à « découvrir » la solution de la diagonale. Cependant, le véritable défi s'est présenté lorsque l'énigme a été modifiée : comment multiplier par deux la superficie d'un rectangle ?
Confrontée à ce problème sans précédent, l'IA a déclaré qu'il n'y avait pas de solution géométrique disponible. Une réponse totalement incorrecte. Cette erreur constitue une preuve pour les chercheurs que le modèle n'a pas uniquement recherché une réponse dans sa base de données. Il a essayé de bricoler, d'élaborer une supposition basée sur ses connaissances incomplètes, exactement comme le ferait un étudiant confronté à un problème qu'il ne contrôle pas.
Que nous enseigne cet échec sur l'intelligence artificielle ?
Plus qu'un simple échec, cet incident offre un aperçu captivant du fonctionnement de l'intelligence artificielle. Cela démontre que ChatGPT ne se limite pas à être une encyclopédie passive. Il est apte à modifier ses tactiques, à se rectifier lorsqu'on lui indique la voie, mais également à commettre des erreurs en tentant de généraliser des normes de façon incorrecte. Ce comportement évoque une notion essentielle en éducation : la « zone de développement proximal » (ZDP), qui fait référence à ce qu'un apprenant est capable de réaliser avec du soutien.
Cette expérience démontre que, bien que l'IA puisse être un instrument efficace, elle n'est pas encore un penseur indépendant et fiable. Pour les chercheurs, cela installe une compétence indispensable à enseigner : la capacité de porter un jugement critique sur les « preuves » produites par une IA. Bien que ChatGPT puisse sembler être un oracle, il reste avant tout un élève, capable de réaliser tant des choses extraordinaires que décevantes.
Foire Aux Questions (FAQ)
ChatGPT est-il donc incompétent en mathématiques ?
Pas forcément. Il excelle en mathématiques (algèbre) grâce à sa maîtrise des règles textuelles qui le sous-tendent. Sa faiblesse réside dans le raisonnement spatial et géométrique, car il n'a pas été formé sur des images ou des diagrammes de la même façon. Il « réfléchit » avec des mots, pas des formes.
Cette expérience démontre-t-elle que l'intelligence artificielle ne peut véritablement pas « penser » ?
Elle démontre principalement que sa procédure diffère de la nôtre. Ce que les chercheurs nomment une « improvisation » est l'erreur de ChatGPT concernant le rectangle. L'IA a essayé d'établir une nouvelle règle basée sur sa compréhension du carré, ce qui ressemble à un type de raisonnement, bien que le résultat soit incorrect. La discussion sur la définition de la « pensée » est toujours en cours.
Est-il possible tout de même d'utiliser ChatGPT pour étudier les mathématiques ?
Oui, cependant avec précaution. Les chercheurs recommandent de l'employer comme un interlocuteur de conversation (« Explorons ce problème ensemble ») plutôt que comme une référence infaillible (« Fournis-moi la réponse »). Sa valeur éducative découle de sa capacité à offrir diverses méthodes et à contraindre l'utilisateur à examiner et critiquer ses réponses, ce qui stimule l'apprentissage.
