Les paramètres, ce sont les valeurs internes qu'un modèle ajuste pendant l'entraînement pour faire ses prédictions. On les compte en milliards pour les grands modèles. Plus de paramètres permet souvent plus de finesse, mais coûte plus cher à entraîner et à faire tourner. Le nombre de paramètres est un indicateur grossier de la taille d'un modèle.
Exemple — Un modèle dit « 70B » possède environ 70 milliards de paramètres.