Descente de gradient stochastique

La descente de gradient stochastique est une méthode d’optimisation utilisée pour mettre à jour les paramètres d’un modèle afin de minimiser la fonction de coût, mais contrairement à la descente de gradient traditionnelle, elle met à jour les paramètres en utilisant un seul exemple de données à la fois. Cela rend l’approche plus rapide et capable de gérer de grandes quantités de données. C’est comme ajuster la direction dans laquelle vous naviguez en mer en vous basant sur des lectures instantanées du vent et des courants, plutôt que d’attendre une prévision météo complète.

Exemple : Supposons que vous entraîniez un modèle pour prédire si une image contient un chat ou un chien. La SGD ajusterait les poids du modèle pour minimiser l’erreur de prédiction, en examinant une image à la fois, permettant des ajustements rapides et efficaces même avec des millions d’images.

Retourner à l'index du lexique