Modèles de langage pré-entraînés

Les modèles de langage pré-entraînés (PLM) sont des architectures de réseaux de neurones qui ont été pré-entraînées sur de vastes ensembles de données textuelles afin d’apprendre une représentation générale des structures linguistiques. Ces modèles peuvent ensuite être finement réglés ou adaptés à des tâches spécifiques avec des données supplémentaires.

Exemple : BERT, GPT et XLNet sont des exemples populaires de modèles de langage pré-entraînés qui ont été utilisés avec succès dans une variété de tâches de traitement du langage naturel, telles que la classification de texte, la génération de texte et la traduction automatique.

Retourner à l'index du lexique