Un token, c'est l'unité de base qu'un modèle de langage lit et produit. Ce n'est pas exactement un mot : souvent un morceau de mot. « Bonjour » peut compter pour un token, « anticonstitutionnellement » pour plusieurs. Les modèles facturent et limitent au token. Compter en tokens, c'est compter ce que ça coûte et ce qui rentre.
Exemple — Un texte d'environ 750 mots correspond grossièrement à 1000 tokens en anglais.