Марковська властивість

Стохастичний процес має марковську властивість, якщо умовний розподіл імовірності майбутніх станів цього процесу (обумовлених як минулими, так і поточними станами) залежить лише від поточного стану; тобто, з огляду на теперішнє, майбутнє не залежить від минулого. Процес із цією властивістю називають марковіа́ном (англ. Markovian), або ма́рковським проце́сом (англ. Markov process). Найвідомішим марковським процесом є марковський ланцюг. Також добре відомим марковським процесом є броунівський рух.

Нехай ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$ є ймовірнісним простором з фільтрацією ${\displaystyle ({\mathcal {F}}_{s},\ s\in I)}$ для деякої (лінійно впорядкованої) індексної множини ${\displaystyle I}$, і нехай ${\displaystyle (S,{\mathcal {S}})}$ є вимірним простором. Про ${\displaystyle (S,{\mathcal {S}})}$-значний стохастичний процес ${\displaystyle X=(X_{t},\ t\in I)}$, пристосований до цієї фільтрації, кажуть, що він володіє марковською властивістю, якщо для будь-якої ${\displaystyle A\in {\mathcal {S}}}$ та будь-яких ${\displaystyle s,t\in I}$ з ${\displaystyle s<t}$

${\displaystyle \mathbb {P} (X_{t}\in A|{\mathcal {F}}_{s})=\mathbb {P} (X_{t}\in A|X_{s}).}$[4]

В разі, коли ${\displaystyle S}$ є дискретною множиною з дискретною сигма-алгеброю, а ${\displaystyle I=\mathbb {N} }$, це може бути переформульовано наступним чином:

${\displaystyle \mathbb {P} (X_{n}=x_{n}|X_{n-1}=x_{n-1},\dots ,X_{0}=x_{0})=\mathbb {P} (X_{n}=x_{n}|X_{n-1}=x_{n-1})}$.

Марковська властивість може мати наступне альтернативне формулювання.

${\displaystyle \mathbb {E} [f(X_{t})|{\mathcal {F}}_{s}]=\mathbb {E} [f(X_{t})|\sigma (X_{s})]}$

для всіх ${\displaystyle t\geq s\geq 0}$ та обмежених і вимірних ${\displaystyle f:S\rightarrow \mathbb {R} }$.[5]

Припустімо, що ${\displaystyle X=(X_{t}:t\geq 0)}$ є стохастичним процесом на ймовірнісному просторі ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$ з природною фільтрацією ${\displaystyle \{{\mathcal {F}}_{t}\}_{t\geq 0}}$. Для будь-якого ${\displaystyle t\geq 0}$ ми можемо визначити паросткову сигма-алгебру ${\displaystyle {\mathcal {F}}_{t+}}$ як перетин усіх ${\displaystyle {\mathcal {F}}_{s}}$ для ${\displaystyle s>t}$. Тоді для будь-якого моменту зупину ${\displaystyle \tau }$ на ${\displaystyle \Omega }$ ми можемо визначити

${\displaystyle {\mathcal {F}}_{\tau ^{+}}=\{A\in {\mathcal {F}}:\{\tau =t\}\cap A\in {\mathcal {F}}_{t+},\,\forall t\geq 0\}}$.

Тоді про ${\displaystyle X}$ кажуть, що він має сильну марковську властивість, якщо для кожного моменту зупину ${\displaystyle \tau }$, обумовленого подією ${\displaystyle \{\tau <\infty \}}$, ми маємо, що для кожного ${\displaystyle t\geq 0}$, ${\displaystyle X_{\tau +t}}$ є незалежним від ${\displaystyle {\mathcal {F}}_{\tau ^{+}}}$ за заданого ${\displaystyle X_{\tau }}$.

Сильна марковська властивість передбачає звичайну марковську властивість, оскільки сильну марковську властивість може бути зведено до неї взяттям моменту зупину ${\displaystyle \tau =t}$.

Припустімо, що урна містить дві червоні кулі й одну зелену. Одну кулю витягли вчора, одну кулю витягли сьогодні, й останню кулю витягнуть завтра. Всі витягування є «без повернення».

Припустімо, що вам відомо, що сьогоднішня куля була червоною, але ви не маєте інформації про вчорашню кулю. Шанс того, що завтрашня куля буде червоною, складає 1/2. Це тому, що для цього випадкового експерименту лишилося лише два результати:

З іншого боку, якщо ви знаєте, що як сьогоднішня, так і вчорашня кулі були червоними, тоді вам гарантовано отримати завтра зелену кулю.

Ця невідповідність показує, що розподіл імовірності завтрашнього кольору залежить не лише від поточного значення, але знаходиться також і під впливом інформації про минуле. Цей стохастичний процес спостережуваних кольорів не має марковської властивості. При використанні такого ж експерименту, як наведено вище, якщо «вибірку без повернення» замінено «вибіркою з поверненням», процес спостережуваних кольорів марковську властивість матиме.[6]

Застосуванням марковської властивості в узагальненому вигляді є обчислення Монте-Карло марковських ланцюгів у контексті баєсової статистики.

• Марковський ланцюг
• Марковське покриття
• Марковський процес вирішування
• Причинна марковська умова
• Марковська модель
• Рівняння Чепмена — Колмогорова