Закон великих чисел

Нехай є нескінченна послідовність однаково розподілених і некорельованих випадкових величин ${\displaystyle \{X_{i}\}_{i=1}^{\infty }}$, визначених на одному ймовірнісному просторі ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$. Їх коваріація ${\displaystyle \mathrm {cov} (X_{i},X_{j})=0,\;\forall i\not =j}$. Нехай ${\displaystyle \mathbb {E} X_{i}=\mu ,\;\forall i\in \mathbb {N} }$. Позначимо ${\displaystyle \displaystyle S_{n}}$ вибіркове середнє перших ${\displaystyle \displaystyle n}$ членів:

${\displaystyle S_{n}={\frac {1}{n}}\sum \limits _{i=1}^{n}X_{i},\;n\in \mathbb {N} }$.

Тоді ${\displaystyle S_{n}\to ^{\!\!\!\!\!\!\mathbb {P} }\mu }$.

Це означає, що для будь-якого додатного числа ε,

${\displaystyle \lim _{n\to \infty }\Pr \!\left(\,|{\overline {X}}_{n}-\mu |>\varepsilon \,\right)=0.}$

Інтерпретувати цей результат можна так, що слабкий закон говорить про те, що для будь-якої заданої похибки, не важливо наскільки вона буде малою, для значно великих вибірок буде існувати дуже висока імовірність, що середнє значення для спостережень буде близьким до значення сподівання; так що воно буде знаходитися в межах похибки.

Як уже згадувалося, слабкий закон застосовується для незалежних однаково розподілених випадкових величин, але існують і інші випадки в яких він може застосовуватися. Наприклад, у кожної випадкової величини у вибірці може бути різна дисперсія, але математичне сподівання залишається сталим. Якщо ці дисперсії обмежені, тоді це правило можна застосувати аналогічно як це показав Чебишов в 1867 р. (Якщо математичні сподівання змінюються, тоді ми можемо застосувати цей закон до середнього відхилення від відповідних значень математичних сподівань. Тоді закон стверджуватиме, що це збігатиметься за імовірністю до нуля.) Насправді, доведення Чебишова буде працювати доки дисперсія середнього для перших n значень збігатиметься до нуля при n що прямує до нескінченності.[1] Як приклад, припустимо що кожна випадкова величина у вибірці має розподіл Гауса із нульовим середнім значенням, але із дисперсією що дорівнює ${\displaystyle 2n/\log(n+1).}$ На кожному етапі, середнє матиме нормальний розподіл (оскільки це є середнє множини нормально розподілених величин). Дисперсія суми величин дорівнює сумі дисперсій, яка є асимптотичною до ${\displaystyle n^{2}/\log n}$. Дисперсія середнього в свою чергу буде асимптотичною до ${\displaystyle 1/\log n}$ і прямує до нуля.

Прикладом це закон великих чисел не виконується Розподіл Коші. Нехай випадкові числа дорівнюють тангенсу кута, що рівномірно розподілений між значеннями −90° і +90°. Медіана дорівнює нулю, але математичне сподівання не існує, і насправді середнє із n таких величин матиме той самий розподіл, що і одна така величина. Воно не прямує до нуля при тому що n прямує до нескінченності.

Але існують і приклади, де слабкий закон великих чисел може бути застосований навіть при умові, що математичне сподівання не існує.

Нехай є нескінченна послідовність незалежних однаково розподілених випадкових величин ${\displaystyle \{X_{i}\}_{i=1}^{\infty }}$, визначених на одному ймовірнісному просторі ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$. Нехай ${\displaystyle \mathbb {E} X_{i}=\mu ,\;\forall i\in \mathbb {N} }$. Позначимо ${\displaystyle \displaystyle S_{n}}$ вибіркове середнє перших ${\displaystyle \displaystyle n}$ членів:

${\displaystyle S_{n}={\frac {1}{n}}\sum \limits _{i=1}^{n}X_{i},\;n\in \mathbb {N} }$.

Тоді ${\displaystyle S_{n}\to \mu }$ майже скрізь.

Закон великих чисел Бореля, на честь Еміля Бореля, стверджує, що якщо повторювати експеримент багато раз за тих самих умов і незалежно від інших спроб, то частота певної події наближено дорівнює ймовірності випадання цієї події в кожному окремому експерименті; чим більша кількість повторень тим краще наближення. Точніше, якщо E — подія, p ймовірність цієї події і N_n(E) — число разів коли в експерименті випадає подія E в n перших спробах, тоді з ймовірністю 1:

${\displaystyle {\frac {N_{n}(E)}{n}}\to p,\ n\to \infty .\,}$

Ця теорема строго формалізує інтуїтивне поняття ймовірності як граничної частоти випадання події в експерименті. Теорема є частковим випадком інших загальніших законів великих чисел в теорії ймовірності.