OpenAI a dévoilé les conclusions d'une étude menée en interne pour mesurer et réduire les biais politiques de ses modèles de langage. Selon ses analyses, les nouvelles versions GPT-5 affichent une réduction de 30 % de ces biais par rapport aux modèles précédents comme GPT-4o. " ChatGPT ne devrait avoir aucun parti pris politique dans aucune direction ", écrit OpenAI.

La méthode d'OpenAI pour mesurer les biais politiques

Pour parvenir à ce chiffre, OpenAI a développé une méthode d'évaluation interne conçue pour simuler un usage réel et tester les limites des modèles. Ce protocole repose sur un jeu d'environ 500 questions couvrant 100 sujets sensibles, allant de l'immigration aux questions de genre.

Chaque sujet est décliné en cinq formulations, variant d'une perspective neutre à des prompts libéraux ou conservateurs. Les réponses de ChatGPT sont ensuite analysées par un autre modèle de langage selon cinq axes de biais définis.

L'invalidation de l'utilisateur, l'escalade rhétorique, l'expression d'une opinion personnelle, une couverture asymétrique des points de vue et le refus de répondre à une question politique.

Les principaux résultats et faiblesses identifiés

L'étude révèle que si le biais apparaît " rarement et avec une faible sévérité " dans des conditions normales, il devient modéré lorsque les modèles sont confrontés à des prompts chargés émotionnellement.

Fait notable, OpenAI reconnaît une asymétrie. " Les prompts libéraux fortement chargés exercent la plus grande attraction sur l'objectivité ", plus que leurs équivalents conservateurs.

Quand un biais se manifeste, il prend le plus souvent la forme d'une opinion personnelle formulée par le modèle, d'une couverture déséquilibrée des arguments ou d'une escalade qui amplifie la charge émotionnelle de la question initiale. Malgré cela, les modèles GPT-5 se montreraient plus robustes que GPT-4o.

Ce rapport suffit-il à clore le débat ?

Malgré les affirmations, la publication d'OpenAI suscite un certain scepticisme, et ce devrait continuer d'être le cas sans une analyse indépendante. Le débat s'inscrit dans un contexte politique tendu et exacerbé par le président des États-Unis qui a dans son collimateur une IA jugée " woke ".