Достатня статистика

Нижче подано доведення для часткового випадку коли розподіл ймовірностей є дискретним. Тоді ${\displaystyle f_{\theta }(x)=\mathbb {P} (X=x|\theta )}$ — функція ймовірностей. Нехай дана функція має факторизацію, як у твердженні теореми і ${\displaystyle \mathrm {T} (x)=t.}$

Тоді маємо:

${\displaystyle {\begin{aligned}\mathbb {P} (X=x|\mathrm {T} (X)=t,\theta )&={\frac {\mathbb {P} (X=x|\theta )}{\mathbb {P} (\mathrm {T} (X)=t|\theta )}}&={\frac {h(x)\,g(\theta ,\mathrm {T} (x))}{\sum _{x:\mathrm {T} (x)=t}h(x)\,g(\theta ,\mathrm {T} (x))}}\\&={\frac {h(x)\,g(\theta ,t)}{\sum _{x:\mathrm {T} (x)=t}h(x)\,g(\theta ,t)}}&={\frac {h(x)\,}{\sum _{x:\mathrm {T} (x)=t}h(x)\,}}.\end{aligned}}}$

Звідси бачимо, що умовна ймовірність вектора X при заданому значенні статистики ${\displaystyle \mathrm {T} (X)\;}$ не залежить від параметра і відповідно ${\displaystyle \mathrm {T} (X)\;}$ — достатня статистика.

Навпаки можемо записати:

${\displaystyle \mathbb {P} (X=x|\theta )=\mathbb {P} (X=x|\mathrm {T} (X)=t,\theta )\cdot \mathbb {P} (\mathrm {T} (X)=t|\theta ).\,}$

З попереднього маємо, що перший множник правої сторони не залежить від параметра ${\displaystyle \theta \;}$ і його можна взяти за функцію h(x) з твердження теореми. Другий множник є функцією від ${\displaystyle \theta \;}$ і ${\displaystyle \mathrm {T} (X),\;}$ і його можна взяти за функцію ${\displaystyle g(\theta ,\mathrm {T} (x)).}$ Таким чином одержано необхідний розклад, що завершує доведення теореми.

Нехай ${\displaystyle X_{1},X_{2},\ldots ,X_{n}\;}$ — послідовність випадкових величин, що рівні 1 з імовірністю p і рівні 0 з імовірністю 1 - p (тобто мають розподіл Бернуллі). Тоді

${\displaystyle \mathbb {P} (x_{1},\ldots x_{n}|p)=p^{\sum x_{i}}(1-p)^{n-\sum x_{i}}=p^{\mathrm {T} (x)}(1-p)^{n-\mathrm {T} (x)}\,\!}$

якщо взяти ${\displaystyle \mathrm {T} (X)=X_{1}+\ldots +X_{n}.\,\!}$

Тоді дана статистика є достатньою згідно з теоремою факторизації, якщо позначити

${\displaystyle g(p,\mathrm {T} (x_{1},\ldots x_{n}))=p^{\mathrm {T} (x_{1},\ldots x_{n})}(1-p)^{n-\mathrm {T} (x_{1},\ldots x_{n})}\,}$

${\displaystyle h(x_{1},\ldots x_{n})=1}$

Нехай ${\displaystyle X_{1},X_{2},\ldots ,X_{n}\;}$ — послідовність випадкових величин з розподілом Пуассона. Тоді

${\displaystyle \mathbb {P} (x_{1},\ldots x_{n}|\lambda )={e^{-\lambda }\lambda ^{x_{1}} \over x_{1}!}\cdot {e^{-\lambda }\lambda ^{x_{2}} \over x_{2}!}\cdots {e^{-\lambda }\lambda ^{x_{n}} \over x_{n}!}=e^{-n\lambda }\lambda ^{(x_{1}+x_{2}+\cdots +x_{n})}\cdot {1 \over x_{1}!x_{2}!\cdots x_{n}!}=e^{-n\lambda }\lambda ^{\mathrm {T} (x)}\cdot {1 \over x_{1}!x_{2}!\cdots x_{n}!}}$

де ${\displaystyle \mathrm {T} (X)=X_{1}+\ldots +X_{n}.\,\!}$

Дана статистика є достатньою згідно з теоремою факторизації, якщо позначити

${\displaystyle g(p,\mathrm {T} (x_{1},\ldots x_{n}))=e^{-n\lambda }\lambda ^{\mathrm {T} (x)}\,}$

${\displaystyle h(x_{1},\ldots x_{n})={1 \over x_{1}!x_{2}!\cdots x_{n}!}}$

Нехай ${\displaystyle X_{1},X_{2},\ldots ,X_{n}\;}$ — послідовність рівномірно розподілених випадкових величин ${\displaystyle X_{1},X_{2},\ldots ,X_{n}\;~U(a,b)}$ . Для цього випадку

${\displaystyle \mathbb {P} (x_{1},\ldots x_{n}|\lambda )=\left(b-a\right)^{-n}\mathbf {1} _{\{a\,\leq \,\min _{1\leq i\leq n}X_{i}\}}\mathbf {1} _{\{\max _{1\leq i\leq n}X_{i}\,\leq \,b\}}.}$

Звідси випливає, що статистика ${\displaystyle T(X)=\left(\min _{1\leq i\leq n}X_{i},\max _{1\leq i\leq n}X_{i}\right)\,}$ є достатньою.

Для випадкових величин ${\displaystyle X_{1},X_{2},\ldots ,X_{n}\;}$ з нормальним розподілом ${\displaystyle {\mathcal {N}}(\mu ,\,\sigma ^{2})}$ достатньою статистикою буде ${\displaystyle \mathrm {T} (X)=\left(\sum _{i=1}^{n}X_{i},\sum _{i=1}^{n}X_{i}^{2}\right)\,.}$