L'inférence, c'est le moment où un modèle déjà entraîné produit une réponse à partir de ton entrée. À distinguer de l'entraînement, qui crée le modèle une fois pour toutes. Chaque fois que tu interroges une IA, tu lances une inférence. C'est elle qui consomme de la puissance de calcul à l'usage et qui détermine la vitesse de réponse.
Exemple — Le léger délai avant qu'une réponse n'apparaisse correspond au temps d'inférence du modèle.