algorithme du gradient

algorithme de la plus profonde descente
algorithme de la plus forte pente
descente de gradient

ANALYSE
AUTRES DISCIPLINES
INFORMATIQUE
STATISTIQUES

Un algorithme du gradient est un algorithme d'optimisation différentiable destiné à minimiser une fonction réelle définie sur IRⁿ ou plus généralement sur un espace hilbertien. La fonction considérée admet un gradient en tout point et les itérations successives se font dans le sens opposé à celui-ci.
Le procédé général est :
étant un espace hilbertien de norme || ||, f une fonction différentiable de E vers IR, ∇f(x) le gradient , l'algorithme du gradient consiste à :
ε ≥ 0 étant le seuil de tolérance, x0 le point de départ de l'itération que l'on conduit de xk à xk+1 par les étapes suivantes :
1) Calcul de ∇f(xk)
2) Test d'arret si ||∇f(xk) ||<ε arret. sinon
3) Calcul du pas α k >0 par une recherche linéaire sur f dans la direction opposée à ∇f(xk).
4) Nouvel itéré xk+1 = xk - α kxk.