Apprentissage Auto-Supervisé

L’apprentissage auto-supervisé (SSL) pour les modèles génératifs est une approche d’apprentissage automatique où un modèle est entraîné à prédire certaines parties de ses données d’entrée à partir d’autres parties, sans besoin d’étiquettes externes. Dans le contexte des modèles génératifs, cela peut impliquer l’utilisation de techniques telles que la prédiction masquée ou la génération de séquences perturbées pour entraîner le modèle à capturer des informations pertinentes dans les données.

Exemple : Un modèle de langage peut être pré-entraîné avec SSL en masquant aléatoirement des mots dans les phrases et en entraînant le modèle à les prédire à partir du contexte restant, ce qui permet d’apprendre des représentations sémantiques riches des mots.

Retourner à l'index du lexique