Verfahren der konjugierten Gradienten

Zwei Vektoren heißen konjugierte Vektoren bezüglich einer symmetrischen, positiv definiten Matrix , wenn gilt

Sind paarweise konjugierte Vektoren bezüglich einer Matrix , dann ist das konvexe quadratische Problem , in n Schritten lösbar, wenn ausgehend von einem beliebigen die Folge gebildet wird, wobei als optimale Schrittweite in Abstiegsrichtung gewählt wird. Unter der Annahme, daß in der Nähe des Minimalpunktes annähernd quadratisch ist, d.h. , kann das für quadratische Zielfunktionen resultierende Verfahren auch auf allgemeinere Funktionen angewendet werden, ohne daß dabei explizit die Matrix benutzt wird.
Das Verfahren der konjugierten Gradienten besteht aus folgenden Schritten:

wobei eine geeignete Ausgangsnäherung für ist.

= (18.82a)

= (18.82b)

= (18.82c)

c) Wiederholung des Schrittes b) mit und an Stelle von und .