Wahrscheinlichkeitsvektor und Übergangsmatrix

Die Übergangsmatrix einer homogenen MARKOFFschen Kette gemäß (16.114a,b,c) sei bekannt. Ausgehend von der Wahrscheinlichkeitsverteilung zum Zeitpunkt t soll die Wahrscheinlichkeitsverteilung zum Zeitpunkt t+1 berechnet werden, d.h., aus und ist zu bestimmen. Es gil:

und weiter

Bemerkungen:

1. Aus (16.118) folgt für t =0

   d.h, eine homogene MARKOFFsche Kette ist durch die Anfangsverteilung und die Übergangsmatrix bestimmt.

2. Sind die Matrizen und stochastische Matrizen, dann ist auch die Matrix eine stochastische Matrix. Daraus folgt: Da eine stochastische Matrix ist, sind auch die Potenzen stochastische Matrizen.

Beispiel

Ein Teilchen verändere seine Lage (Zustand) längs einer Geraden zu den Zeitpunkten nach der folgenden Vorschrift:

1. Von den Punkten x =2,3,4 wird es in der nachfolgenden Zeiteinheit um eine Einheit mit der Wahrscheinlichkeit p=0,6 nach rechts und mit der Wahrscheinlichkeit 1-p =0,4 nach links verschoben.
2. An den Punkte x=1 und x=5 wird das Teilchen absorbiert, d.h., es bleibt mit der Wahrscheinlichkeit 1 in der nachfolgenden Zeit dort.
3. Zur Zeit t=0 befinde sich das Teilchen an der Stelle . Die Wahrscheinlichkeitsverteilung zum Zeitpunkt t=3 ist zu berechnen.

Gemäß (16.119) gilt mit und der Übergangsmatrix

Daraus folgt

und man erhält .