Verfahren des steilsten Abstieges (Gradientenverfahren)

Ausgehend vom aktuellen Punkt , wird als Richtung des lokal steilsten Abstieges festgelegt durch

Es ist also

Eine schematische Darstellung des Gradientenverfahrens mit den Niveaulinien zeigt die folgende Abbildung.

Die Schrittweite wird nach dem CAUCHY-Prinzip, auch Prinzip der Strahlminimierung genannt, ermittelt, d.h., löst die eindimensionale Aufgabe

Dazu können Verfahren aus Abschnitt Numerische Suchverfahren herangezogen werden. Das Gradientenverfahren (18.74ab) konvergiert relativ langsam. Für jeden Häufungspunkt der Folge gilt . Für eine quadratische Zielfunktion, d.h. , besitzt das Verfahren die Form:

= (18.76a)

= (18.76b)