Pré-entraînement de langage masqué

Le pré-entraînement de langage masqué (Masked Language Modeling – MLM) est une tâche d’apprentissage automatique où un modèle de langage est entraîné à prédire des mots masqués dans une séquence de texte donnée. Cette approche est couramment utilisée dans les modèles de langage pré-entraînés tels que BERT pour apprendre des représentations contextuelles des mots.

Exemple : Dans BERT, des mots aléatoires sont masqués dans une phrase et le modèle est entraîné à prédire les mots masqués en se basant sur le contexte environnant, ce qui permet d’apprendre des représentations riches et contextuelles des mots dans le langage naturel.

Retourner à l'index du lexique