Concept

Jeton (token)

Un jeton est un morceau de texte, converti en nombre, que les modèles de langage lisent et produisent un à la fois.

D'où ça vient

La notion vient du fonctionnement même des grands modèles de langage, qui traitent des nombres plutôt que du texte. Pour y arriver, on découpe le texte en unités selon un vocabulaire fixé d'avance. Des méthodes comme le byte-pair encoding (BPE) et WordPiece servent à ce découpage. Les modèles de type GPT, qui s'appuient sur l'architecture transformer présentée par des chercheurs de Google en 2017, sont d'abord entraînés à prédire la suite du texte.

C'est quoi, concrètement

Un jeton, c'est une unité du vocabulaire du modèle. Chaque unité reçoit un numéro unique, auquel est associée une représentation numérique (un « embedding »). Le texte que tu écris est donc transformé en suite de jetons, et la réponse est produite aussi jeton par jeton. Concrètement, c'est l'unité de mesure de ce que le modèle peut lire et écrire. La taille de sa mémoire de travail (le contexte) se compte en jetons, par exemple un contexte de 128K jetons.

Exemples

BPE (byte-pair encoding) : Méthode de découpage qui fusionne peu à peu les paires de caractères les plus fréquentes jusqu'à obtenir un vocabulaire de la taille voulue.
WordPiece : Autre méthode de découpage du texte en jetons, utilisée avec des modèles comme BERT.
Jetons spéciaux : Des jetons comme [MASK] (mot masqué) ou [UNK] (caractère inconnu) servent de signaux de contrôle dans le traitement du texte.
Longueur de contexte : Un nom de modèle comme Yarn-Llama-2-13b-128k indique un contexte de 128K jetons, soit la quantité de texte que le modèle peut garder en vue.
Facturation par jeton : Les modèles accessibles en ligne comparent souvent leurs coûts par jeton, comme DeepSeek R1 face à OpenAI o1. Consulte le site officiel de chaque fournisseur pour les tarifs.

Ce que ça permet

Il transforme n'importe quel texte en nombres que le modèle peut traiter.
Le découpage compresse les données et rend l'entraînement plus efficace.
Les jetons donnent une unité claire pour mesurer la taille du contexte d'un modèle.
Les jetons spéciaux permettent de marquer des consignes, des mots masqués ou des caractères inconnus.
Compter en jetons aide à comparer des modèles et leurs coûts d'utilisation.

Pièges à éviter

Un jeton n'est pas toujours un mot: il peut être un mot entier, un bout de mot ou un signe de ponctuation.
Chaque modèle a son propre vocabulaire, donc le même texte ne donne pas forcément le même nombre de jetons d'un modèle à l'autre.
Un caractère absent du vocabulaire de départ ne peut pas être découpé normalement et risque d'être traité comme inconnu.
Le contexte est limité: un texte trop long dépasse ce que le modèle peut garder en vue.
Des données d'entraînement biaisées ou inexactes rendent les réponses moins fiables, peu importe le découpage.

Pour ta PME

Pour ta PME, le jeton sert surtout à estimer la taille des documents que tu soumets à un outil d'IA et à comprendre une facturation au volume. Vérifie les tarifs directement sur le site officiel du fournisseur. Avant de coller un texte dans un outil, évite d'y mettre des renseignements personnels ou confidentiels, pense à la Loi 25, et fais toujours relire la réponse par une personne avant de l'utiliser.

Sources : Wikipédia · mis à jour le 2026-11-06

Infolettre gratuite

« 5 prompts, 1 café »

Reçois 5 prompts prêts à copier chaque matin à 6 h 30.