Ланцюги Маркова з неперервним часом

У теорії ймовірностей ланцюгом Маркова з неперервним часом називається випадковий процес { X(t) : t ≥ 0 } визначений у неперервному часовому проміжку, що приймає значення у деякій скінченній чи зліченній множині і задовольняє властивість Маркова. Відмінність цього виду ланцюгів Маркова від дискретних ланцюгів Маркова полягає в тому, що переходи між станами можуть відбуватися в будь-які моменти часу і час наступного переходу теж є випадковою величиною.

Формальне означення

Випадковий процес $\{X_{t}\}_{t\geqslant 0}$ , що приймає значення в деякій скінченній чи зліченній множині називається ланцюгом Маркова (з неперервним часом), якщо

\mathbb {P} (X_{t+h}=x_{t+h}\mid X_{s}=x_{s},\;0<s\leqslant t)=\mathbb {P} (X_{t+h}=x_{t+h}\mid X_{t}=x_{t})

.

Ланцюг Маркова з неперервним часом називається однорідним якщо:

\mathbb {P} (X_{t+h}=x_{t+h}\mid X_{t}=x_{t})=\mathbb {P} (X_{h}=x_{h}\mid X_{0}=x_{0})

.

Матриця перехідних функцій і рівняння Колмогорова — Чепмена

Як і у дискретному випадку Ланцюги Маркова з неперервним часом повністю визначаються заданням початкового розподілу

\mathbf {p} =(p_{1},p_{2},\ldots )^{\top },\;p_{i}=\mathbb {P} (X_{0}=i),\quad i=1,2,\ldots

іматрицею перехідних функцій (перехідних ймовірностей)

\mathbf {P} (h)=(P_{ij}(h))=\mathbb {P} (X_{h}=j\mid X_{0}=i)

.

Матриця перехідних ймовірностей задовільняє рівнянню Колмогорова — Чепмена: $\mathbf {P} (t+s)=\mathbf {P} (t)\mathbf {P} (s)$ або

P_{ij}(t+s)=\sum _{k}P_{ik}(t)P_{kj}(s)

.

Матриця інтенсивностей

За визначенням , матриця інтенсивностей $\mathbf {Q} =\lim _{h\to 0}{\frac {\mathbf {P} (h)-\mathbf {I} }{h}}$

чи еквівалентно:

\mathbf {Q} =(q_{ij})=\left({\frac {dP_{ij}(h)}{dh}}\right)_{h=0}

.

Із рівняння Колмогорова-Чепмена випливають:

Пряме рівняння Колмогорова
${\frac {d\mathbf {P} (t)}{dt}}=\mathbf {P} (t)\mathbf {Q} ,$
Обернене рівняння Колмогорова
${\frac {d\mathbf {P} (t)}{dt}}=\mathbf {Q} \mathbf {P} (t).$

Для обох рівнянь початковим наближенням є $\mathbf {P} (0)=\mathbf {I}$ . Відповідний розв'язок рівний: $\mathbf {P} (t)=\exp(\mathbf {Q} t).$

Див. також

Література

S. P. Meyn and R. L. Tweedie. Markov Chains and Stochastic Stability. London: Springer-Verlag, 1993. ISBN 0-387-19832-6.
J. R. Norris. Markov Chains. Cambridge University Press, 1997. ISBN ISBN 0-521-48181-3

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.