ChatGPT et Gemini se plantent sur 4 chiffres sur 10 du CAC 40

Une étude menée par l'agence Reputation Age avec la plateforme française Bubbling vient de passer au crible ChatGPT et Gemini sur leur capacité à restituer les résultats semestriels des boîtes du CAC 40. Le verdict est plutôt frais : sur 39 sociétés analysées, 4 chiffres sur 10 donnés par les deux IA sont faux. Les chercheurs ont fait tourner près de 8 700 conversations fin août, juste après la publication des résultats, en simulant un journaliste éco qui pose des questions sur le chiffre d'affaires, la dette, l'EBITDA et compagnie.

Sans surprise, tous les indicateurs ne sont pas logés à la même enseigne : le résultat net s'en sort plutôt bien (67% de bonnes réponses), alors que la croissance publiée fait un flop total avec seulement 42% de réponses correctes. L'étude distingue deux types de bourdes : soit l'IA invente ou sort un chiffre périmé, soit elle pioche le bon document mais choisit la mauvaise donnée dedans — confondant par exemple croissance organique et croissance publiée, ou trimestre et semestre. Des boîtes comme BNP Paribas ou Crédit Agricole sont particulièrement touchées par ce genre de confusion.

Le plus piquant, c'est que même Capgemini, la société la mieux notée du classement avec 81% de bonnes réponses, illustre bien le problème. Son communiqué de résultats aligne pas moins de sept taux de croissance différents pour le même chiffre d'affaires, sans jamais donner clairement la croissance organique du groupe. Forcément, une IA qui doit piocher là-dedans a de quoi se mélanger les pinceaux. À l'autre bout du classement, Crédit Agricole, EssilorLuxottica et BNP Paribas plafonnent autour de 32 à 35% de réponses justes.

Les auteurs de l'étude pointent surtout un problème de fond : les entreprises publient leurs chiffres dans des documents touffus et peu structurés, ce qui complique la tâche des IA qui vont chercher l'info directement sur leurs sites (78% des sources utilisées). Autrement dit, avant de blâmer ChatGPT et Gemini, il faudrait peut-être que les entreprises fassent un effort de clarté dans leurs communiqués financiers.