Markoffsche Ketten, Übergangswahrscheinlichkeiten

Hängt bei einer stochastischen Kette die Wahrscheinlichkeit eines Ereignisses X_tm+1 nur vom Zustand zum Zeitpunkt t_m ab, so spricht man von einer MARKOFFschen Kette, d.h., es gilt

P(X_tm+1 = (16.110)

Es seien eine MARKOFFsche Kette sowie die zwei Zeitpunkte t_m und t_m+1 gegeben. Die bedingten Wahrscheinlichkeiten

P(X_tm+1=j|X_tm=i) =p_ij(t_m,t_m+1) (16.111)

heißen Übergangswahrscheinlichkeiten. Die Übergangswahrscheinlichkeit gibt an, mit welcher Wahrscheinlichkeit der Zustand X_tm=i bei t_m in den Zustand X_tm+1=j bei t_m+1 übergeht.
Ist der Zustandsraum einer MARKOFFschen Kette endlich, d.h. , so lassen sich die Übergangswahrscheinlichkeiten p_ij(t₁,t₂) zwischen den Zuständen zum Zeitpunkt t₁ und t₂ in einer quadratischen Matrix , der sogenannten Übergangsmatrix, darstellen:

Die Zeitpunkte t₁ und t₂ müssen nicht aufeinanderfolgende Zeitpunkte sein.