Марковський процес

Властивість, яка характеризує процес як марковський, називають марковською або властивістю Маркова. Вперше цю властивість сформулював російський математик Марков А. А., який 1907 року започаткував дослідження послідовностей залежних випробувань і пов'язаних із ними сум випадкових величин. Цей напрямок досліджень відомий зараз як теорія ланцюгів Маркова.

Вже в роботі Л. Башельє є спроба трактувати броунівський рух як марковський процес, що отримало обґрунтування після досліджень Вінера 1923 року.

Марківський процес є стохастичною моделлю, що має властивість Маркова. Він може бути використаний для моделювання випадкової системи, що змінює стан відповідно до правила переходу, що залежить від поточного стану. Ця стаття описує процес Маркова в дуже загальному значенні. Наступна таблиця дає огляд різних випадках марковських процесів для різних рівнів просторових станів та дискретного часу проти безперервного часу.

Марківські процеси виникають в теорії ймовірності та статистики в один з двох способів. Може бути доведено, що стохастичний процес має властивість Маркова, і, як наслідок, має властивості, виведені з цього для всіх процесів Маркова. З іншого боку, при моделюванні процесу можна припустити, що процес є Марківським, і прийняти це як основу для його побудови. В задачах моделювання властивість Маркова вважається одним з небагатьох простих способів введення статистичної залежності в модель стохастичного процесу.

Нехай ${\displaystyle (\Omega ,F,P)}$ — імовірнісний простір з фільтрацією ${\displaystyle (F_{t},t\in T)}$ по деякій (частково впорядкованій) множинні ${\displaystyle T}$; і нехай ${\displaystyle (S,\mathbf {S} )}$ — вимірний простір. Вважається, що випадковий процес ${\displaystyle X=(X_{t},t\in T)}$, заданий на ймовірністному просторі, задовольняє марковській властивості, якщо для кожного ${\displaystyle A\in \mathbf {S} )}$ та ${\displaystyle s,t\in T:s<t}$, ${\displaystyle P(X_{t}\in A|F_{s})=P(X_{t}\in A|X_{s})}$.

Марковський процес — це випадковий процес, що задовольняє марковській властивості з природною фільтрацією.

Ланцюги Маркова (процеси з дискретним часом): У випадку, коли ${\displaystyle S}$ є дискретною множиною $T=N$, визначення може бути переформульовано: ${\displaystyle P(X_{n}=x_{n}\mid X_{n-1}=x_{n-1},\dots ,X_{0}=x_{0})=P(X_{n}=x_{n}\mid X_{n-1}=x_{n-1}).}$

Розглянемо простий приклад марковського випадкового процесу. По осі абсцис випадковим чином переміщується точка. У початковий момент ${\displaystyle t=0}$ точка знаходиться на початку координат, ${\displaystyle X=0}$, і залишається там протягом однієї секунди. Через секунду кидається монета — якщо випав герб, то точка ${\displaystyle X}$ переміщається на одиницю довжини вправо, якщо решка — вліво. Через секунду знову кидається монета і проводиться таке ж випадкове переміщення, і так далі. Процес зміни положення точки («блукання») являє собою випадковий процес з дискретним часом ${\displaystyle (t=0,1,2,...)}$ і зліченною множиною станів. Такий випадковий процес називається марковським, оскільки наступний стан точки залежить тільки від її поточного стану і не залежить від минулих станів (неважливо, яким шляхом і за який час точка потрапила в поточну координату).

У деяких випадках, очевидно, немарковскі процеси можуть набувати марковского виду за будовою за рахунок розширення концепції «поточного» і «майбутнього» станів. Наприклад, нехай ${\displaystyle X}$ є немарковским процесом. Визначимо процес ${\displaystyle Y}$ (при цьому кожен стан ${\displaystyle Y}$ являє собою інтервал часу станів ${\displaystyle X}$) як: ${\displaystyle Y(t)=\{X(s):s\in [a(t),b(t)]\}}$.

Якщо процес ${\displaystyle Y}$ має властивість Маркова, то він є марковським уявленням процесу ${\displaystyle X}$.

Основи загальної теорії марковських процесів із неперервним часом було закладено у працях А. Колмогорова.

• Баруча-Рид А. Т. Элементы теории марковских процессов и их приложения. — М. : Наука, 1969. — 512 с.
• Гардинер К. В. Стохастические методы в естественных науках. — М. : Мир, 1986. — 528 с.
• ван Кампен Н. Г. Стохастические процессы в физике и химии. — М. : Высшая школа, 1990. — 376 с.
• Феллер В. Введение в теорию вероятностей и ее приложения (в 2-х томах). — М. : Мир, 1984. — 1280 с.

• Ланцюг Маркова
• Марковська властивість
• Марковська мережа
• Прихована марковська модель

• Марковський процес на MathWorld(англ.)