C'est quoi un token en IA ? On t'explique simplement

Dès qu'on parle d'IA générative, le mot "token" (ou jeton en français) revient sans arrêt. C'est un peu l'unité de base que les modèles de langage utilisent pour découper et traiter le texte. Concrètement, un token peut être un mot entier, un bout de mot, un signe de ponctuation, voire un simple espace. En moyenne, on considère qu'un mot en français ou en anglais correspond à peu près à 1,3 token.

Pourquoi c'est important de comprendre ça ? Parce que tout ce que tu tapes dans un chatbot IA, et tout ce qu'il te répond, est transformé en tokens avant d'être traité. Les entreprises qui vendent l'accès à leurs modèles (OpenAI, Anthropic, Google...) facturent généralement au token : plus ta conversation est longue, plus tu en consommes, plus ça coûte cher. C'est aussi pour ça que les modèles ont une limite de "contexte", c'est-à-dire un nombre maximum de tokens qu'ils peuvent gérer en une fois.

Le nombre de tokens sur lesquels un modèle a été entraîné donne aussi une idée de sa puissance : plus il y en a, plus l'IA a potentiellement ingéré de connaissances. Donc la prochaine fois que tu vois un tableau de prix "par million de tokens" ou une annonce genre "entraîné sur X milliards de tokens", tu sauras exactement de quoi on parle.