Jeton

Un jeton (token) dans le contexte de l’IA générative fait référence à une unité discrète de données d’entrée ou de sortie utilisée dans les modèles de langage. Chaque jeton représente une partie du texte, telle qu’un mot, un caractère ou un symbole, et est souvent associé à un vecteur d’embedding dans l’espace latent du modèle.

Exemple : Dans un modèle de langage pré-entraîné comme GPT-3, chaque mot dans le texte d’entrée est converti en un jeton correspondant à son index dans le vocabulaire du modèle, puis utilisé comme entrée pour générer le texte de sortie.

Retourner à l'index du lexique