Багатовимірний нормальний розподіл

Багатовимірний нормальний розподіл
	; Множина точок, що представляють елементарні події багатовимірного нормального розподілу із і , разом з якими показано еліпс розміром в 3-сігми, два маргінальні розподіли і дві 1-вимірні гістограми.
Параметри	μ ∈ Rk — коефіцієнт зсуву; Σ ∈ Rk×k — коваріаційна матриця (додатноозначена матриця)
Носій функції	x ∈ μ + span(Σ) ⊆ Rk
Розподіл імовірностей	; існує лише за умови, що Σ є додатньоозначена матриця
Функція розподілу ймовірностей (cdf)	(не має аналітичного виразу)
Середнє	μ
Мода	μ
Дисперсія	Σ
Ентропія
Твірна функція моментів (mgf)
Характеристична функція

Багатовимірний нормальний розподіл (чи багатовимірний гаусів розподіл) у теорії ймовірностей — це узагальнення одновимірного нормального розподілу для випадку із багатьма вимірами. Відповідно до одного із визначень стверджують, що вектор випадкових величин має k-варіативний нормальний розподіл якщо кожна лінійна комбінація його k компонент має одновимірний нормальний розподіл. В основному його важливість випливає із узагальнення центральної граничної теореми для багатьох вимірів. Багатовимірний нормальний розподіл часто використовують аби описати, принаймні наближено, будь-яку множину (можливо) корельованих випадкових величин із дійсними значенням, кожна з яких скупчується довкола середнього значення.

Позначення і параметризація

Багатовимірний нормальний розподіл k-вимірного вектору випадкових величин X = [X₁, X₂, …, X_k]^T може записуватися у формі наступної нотації:

\mathbf {X} \ \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),

або із метою явно зазначити, що X є k-вимірним:

\mathbf {X} \ \sim \ {\mathcal {N}}_{k}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),

із k-вимірним вектором середніх значень

{\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]=[\operatorname {E} [X_{1}],\operatorname {E} [X_{2}],\ldots ,\operatorname {E} [X_{k}]]^{\rm {T}},

і матрицею коваріацій $k\times k$

{\boldsymbol {\Sigma }}=:\operatorname {E} [(\mathbf {X} -{\boldsymbol {\mu }})(\mathbf {X} -{\boldsymbol {\mu }})^{\rm {T}}]=[\operatorname {Cov} [X_{i},X_{j}];1\leq i,j\leq k].

Визначення

Випадковий вектор $\mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }:\Omega \to \mathbb {R} ^{n}$ має багатомірний нормальний розподіл, якщо виконується одне з наступних еквівалентних умов:

Довільна лінійна комбінація компонентів вектора $\sum \limits _{i=1}^{n}a_{i}X_{i}$ має нормальний розподіл є константою.
Існує вектор незалежних стандартних нормальних випадкових величин $\mathbf {Z} =(Z_{1},\ldots ,Z_{m})^{\top }$ , дійсний вектор $\mathbf {\mu } =(\mu _{1},\ldots ,\mu _{n})^{\top }$ і матриця $\mathbf {A}$ розмірності $n\times m$ , такі що:

\mathbf {X} =\mathbf {A} \mathbf {Z} +\mathbf {\mu }

.

Існує вектор $\mathbf {\mu } \in \mathbb {R} ^{n}$ і додатньо визначена симетрична матриця $\mathbf {\Sigma }$ розмірності $n\times n$ , такі що характеристична функція вектора $\mathbf {X}$ має вид:

\phi _{\mathbf {X} }(\mathbf {u} )=e^{i\mathbf {\mu } ^{\top }\mathbf {u} -{\frac {1}{2}}\mathbf {u} ^{\top }\Sigma \mathbf {u} },\;\mathbf {u} \in \mathbb {R} ^{n}

.

Зауваження

Якщо розглядати тільки розподілу з невиродженою коваріаційною матрицею, то еквівалентним буде також наступне визначення:

Існує вектор

\mathbf {\mu } \in \mathbb {R} ^{n}

і додатно визначена симетрична матриця

\mathbf {\Sigma }

розмірності

n\times n

, такі що щільність ймовірності вектора

\mathbf {X}

має вид:

f_{\mathbf {X} }(\mathbf {x} )={\frac {1}{(2\pi )^{n/2}\vert \Sigma \vert ^{1/2}}}e^{-{\frac {1}{2}}(\mathbf {x} -\mathbf {\mu } )^{\top }\Sigma ^{-1}(\mathbf {x} -\mathbf {\mu } )},\;\mathbf {x} \in \mathbb {R} ^{n}

,

де

\vert \Sigma \vert

— визначник матриці

\Sigma

, а

\Sigma ^{-1}

— матриця зворотна до

\Sigma

Вектор $\mathbf {\mu }$ є вектором середніх значень $\mathbf {X}$ , а $\Sigma$ — його коваріаційна матриця
У випадку $n=1$ , багатовимірний нормальний розподіл зводиться до звичайного нормального розподілу.
Якщо випадковий вектор $\mathbf {X}$ має багатовимірний нормальний розподіл, то пишуть $\mathbf {X} \sim \mathrm {N} (\mathbf {\mu } ,\Sigma )$ .

Властивості

Якщо вектор $\mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }$ має багатовимірний нормальний розподіл, то його компоненти $X_{i},i=1,\ldots ,n,$ мають одновимірний нормальний розподіл. Зворотне, узагалі говорячи, невірно (див. приклад )!
Якщо випадкові величини $X_{1},\ldots ,X_{n}$ мають одномірний нормальний розподіл і спільно незалежні, те випадковий вектор $\mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }$ має багатомірний нормальний розподіл. Матриця коваріацій $\Sigma$ такого вектора діагональна.
Якщо $\mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }$ має багатомірний нормальний розподіл, і його компоненти попарно некорельовані, то вони незалежні. Однак, якщо тільки компоненти $X_{i},\;i=1,\ldots ,n$ мають одномірний нормальний розподіл і попарно не корелюють, те звідси не випливає, що вони незалежні.

Контрприклад. Нехай

X\sim \mathrm {N} (0,1)

, а

\alpha =\pm 1

з рівними ймовірностями. Тоді якщо

Y=\alpha X\sim \mathrm {N} (0,1)

, те кореляція

X

і

Y

дорівнює нулю. Однак, ці випадкові величини залежні.

Багатомірний нормальний розподіл стійко щодо лінійних перетворень. Якщо $\mathbf {X} \sim \mathrm {N} (\mathbf {\mu } ,\Sigma )$ , а $\mathbf {A}$ — довільна матриця розмірності $m\times n$ , то

\mathbf {A} \mathbf {X} \sim \mathrm {N} \left(\mathbf {A} \mathbf {\mu } ,\mathbf {A} \Sigma \mathbf {A} ^{\top }\right)

.

Функція густини

Спільна функція густини біваріативного нормального розподілу

Не вироджений випадок

Багатовимірний нормальний розподіл називають "не виродженим" коли його симетрична матриця коваріацій ${\boldsymbol {\Sigma }}$ є додатньоозначеною. В такому випадку розподіл має функцію густини:[1]

{\begin{aligned}f_{\mathbf {X} }(x_{1},\ldots ,x_{k})&={\frac {\exp \left(-{\frac {1}{2}}({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\right)}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}\end{aligned}}

де ${\mathbf {x} }$ це k-вимірний вектор стовпець дійсних чисел і $|{\boldsymbol {\Sigma }}|\equiv \operatorname {det} {\boldsymbol {\Sigma }}$ це детермінант для ${\boldsymbol {\Sigma }}$ . Вищенаведене рівняння спрощується до аналогічного рівняння, що відповідає одновимірному нормальному розподілу якщо ${\boldsymbol {\Sigma }}$ є матрицею розміром $1\times 1$ (тобто єдиним дійсним числом).

Циркулярно-симетрична версія комплексного нормального розподілу має дещо відмінну форму.

Кожен окіл ізо-густини—окіл точок в k-вимірному просторі, в кожній з яких буде деяке стале значення густини —є еліпсом або його узагальненням для більших вимірів; оскільки багатовимірний нормальний розподіл є особливим випадком еліптичних розподілів.

В описовій статистиці ${\sqrt {({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})}}$ відомо як відстань Махаланобіса, яка задає відстань обраної точки ${\mathbf {x} }$ від середнього ${\boldsymbol {\mu }}$ . Зауважте, що у випадку коли $k=1$ , розподіл зводиться до одновимірного нормального розподілу, і відстань Махаланобіса зводиться до абсолютного значення стандартної оцінки.

Біваріативний випадок

У 2-вимірному несингулярному випадку (k = rank(Σ) = 2), функція густини імовірності для вектору [X Y]′ є наступною:

f(x,y)={\frac {1}{2\pi \sigma _{X}\sigma _{Y}{\sqrt {1-\rho ^{2}}}}}\exp \left(-{\frac {1}{2(1-\rho ^{2})}}\left[{\frac {(x-\mu _{X})^{2}}{\sigma _{X}^{2}}}+{\frac {(y-\mu _{Y})^{2}}{\sigma _{Y}^{2}}}-{\frac {2\rho (x-\mu _{X})(y-\mu _{Y})}{\sigma _{X}\sigma _{Y}}}\right]\right)

де ρ — кореляція між X і Y і де $\sigma _{X}>0$ і $\sigma _{Y}>0$ . В такому випадку,

{\boldsymbol {\mu }}={\begin{pmatrix}\mu _{X}\\\mu _{Y}\end{pmatrix}},\quad {\boldsymbol {\Sigma }}={\begin{pmatrix}\sigma _{X}^{2}&\rho \sigma _{X}\sigma _{Y}\\\rho \sigma _{X}\sigma _{Y}&\sigma _{Y}^{2}\end{pmatrix}}.

У біваріативному випадку, перша еквівалентна умова встановлення нормальності багатовимірного розподілу може бути менш сувора: для того, щоб зробити висновок чи є вектор [X Y]′ біваріативно нормальним достатньо перевірити чи зліченно велика кількість відмінних лінійних комбінацій X і Y є нормально розподілені.[2]

Біваріативні околи ізо-густини на площині x,y є еліпсами. Із збільшенням абсолютного значення коефіцієнту кореляції ρ, ці околи будуть сплющуватися до наступної прямої :

y(x)=\operatorname {sgn}(\rho ){\frac {\sigma _{Y}}{\sigma _{X}}}(x-\mu _{X})+\mu _{Y}.

Це пояснюється тим, що якщо в даному виразі sgn(ρ) замінити на ρ, воно є найкращим лінійним незміщеним передбаченням для Y, що задане значенням X.[3]

Багатомірна центральна гранична теорема

Нехай $\xi ^{(1)},\xi ^{(2)},...$ — послідовність незалежних і однаково розподілених випадкових векторів, кожний з який має середнє $E\xi ^{(1)}=a$ і невироджену матрицю коваріацій $\Sigma$ . Позначимо через $S_{n}\xi ^{(1)}+...+\xi ^{(n)}$ вектор часткових сум. Тоді при $n\to \infty$ має місце збіжність розподілів векторів $\eta ^{(n)}={\frac {S_{n}-na}{\sqrt {n}}}\Rightarrow \eta$ , де $\eta$ має розподіл $N_{O,\Sigma }$ . В умовах багатовимірної центральної граничної теореми розподіл будь-яких неперервних функцій $g(\eta ^{(n)})$ збігається до розподілу $g(\eta )$ . Як $g(x)$ нам буде потрібна тільки $g(x)=\sum x_{i}^{2}=\|x\|^{2}$ .

Наслідок

В умовах багатовимірної центральної граничної теореми має місце збіжність $\|\eta ^{(n)}\|^{2}\Rightarrow \|\eta \|^{2}$ .

Примітки

UIUC, Lecture 21. The Multivariate Normal Distribution, 21.5:"Finding the Density".
Hamedani, G. G.; Tata, M. N. (1975). On the determination of the bivariate normal distribution from distributions of linear combinations of the variables. The American Mathematical Monthly 82 (9): 913–915. doi:10.2307/2318494.
Wyatt, John. Linear least mean-squared error estimation. Lecture notes course on applied probability. Процитовано 23 січня 2012.

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.

[1] UIUC, Lecture 21. The Multivariate Normal Distribution, 21.5:"Finding the Density".

[HT-2] Hamedani, G. G.; Tata, M. N. (1975). On the determination of the bivariate normal distribution from distributions of linear combinations of the variables. The American Mathematical Monthly 82 (9): 913–915. doi:10.2307/2318494.

[wyattlms-3] Wyatt, John. Linear least mean-squared error estimation. Lecture notes course on applied probability. Процитовано 23 січня 2012.