Informatique. OPENCLASSROOMS. Apprenez à programmer en C ! Le Site du Zéro. C# C. CONNEXIONNISME. L'algorithme de rétropropagation du gradient. Next: ApplicationsUp: Les réseaux multicouches Previous: Définition et expressivité des L'algorithme de rétropropagation du gradient suit la démarche de Widrow-Hoff. Définir une notion d'erreur sur un exemple puis calculer la contribution à cette erreur de chacun des poids synaptique. C'est cette deuxième étape qui n'est pas évidente.
Elle est parfois désignée sous le nom de ``Credit Assignment Problem''. Afin de pouvoir appliquer la méthode du gradient, on a besoin de calculer des dérivées et donc de ``lisser'' les calculs. On remplace pour cela la fonction à seuil de Heaviside par une fonction sigmoïde Figure 3.13: La fonction sigmoïde Cette fonction est une approximation indéfiniment dérivable de la fonction à seuil de Heaviside, d'autant meilleure que k est grand. On peut remarquer que la dérivée de la fonction est simple à calculer : On suppose maintenant que la sortie de chaque neurone est calculée à l'aide de cette fonction : On note Figure 3.14: Une couche cachée On a donc : est égale à : Réseaux de neurones.