La tokenisation, c'est l'étape où un modèle découpe ton texte en tokens avant de le traiter. Le texte brut est transformé en morceaux que le modèle sait manipuler, puis reconverti en mots à la sortie. C'est invisible pour toi, mais ça explique pourquoi un modèle compte en tokens, pas en mots, et pourquoi certaines langues coûtent plus cher que d'autres.
Exemple – La tokenisation découpe « inattendu » en plusieurs tokens, alors que « chat » n'en fait qu'un.
Pour transformer cette notion en workflows qui tournent chez toi, le guide L'IA qui tourne vraiment réunit le mode d'emploi et 12 workflows n8n téléchargeables (14,99 € au lancement).