Token
Terme IA
Intermédiaire
📊 Données et traitement
📖 Définition
Un token est l'unité de base que traite un modèle de langage lorsqu'il lit ou génère du texte. Ce n'est pas toujours un mot complet : ça peut être un bout de mot, un signe de ponctuation ou même un espace. Le mot ordinateur pourrait être découpé en deux ou trois tokens selon le modèle. C'est en comptant les tokens qu'on mesure la capacité d'un LLM et qu'on calcule les coûts d'utilisation des API.
💬 En termes simples
Ce sont les briques de lego du langage pour l'IA ; un mot peut être coupé en plusieurs morceaux.
🎯 Exemple concret
Le mot « Anticonstitutionnellement » serait découpé en plusieurs tokens par l'IA.
💡 Le saviez-vous ?
C'est généralement l'unité de facturation des services d'IA (prix par million de tokens).