Теорія оцінювання

Розгляньмо отриманий дискретний сигнал, ${\displaystyle x[n]}$, з ${\displaystyle N}$ незалежних зразків, що складається з невідомої сталої ${\displaystyle A}$ з адитивним білим гауссовим шумом (АБГШ) ${\displaystyle w[n]}$ з нульовим середнім значенням та відомою дисперсією ${\displaystyle \sigma ^{2}}$ (тобто, ${\displaystyle {\mathcal {N}}(0,\sigma ^{2})}$). Оскільки дисперсія є відомою, то єдиним невідомим параметром є ${\displaystyle A}$.

Тоді моделлю для сигналу є

${\displaystyle x[n]=A+w[n]\quad n=0,1,\dots ,N-1}$

Двома можливими (з багатьох) оцінювачами параметра ${\displaystyle A}$ є:

• ${\displaystyle {\hat {A}}_{1}=x[0]}$
• ${\displaystyle {\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}$ що є середнім значенням вибірки

Обидві ці оцінювачі мають середнє значення ${\displaystyle A}$, яке можливо показати, взявши математичне сподівання кожного з оцінювачів

${\displaystyle \mathrm {E} \left[{\hat {A}}_{1}\right]=\mathrm {E} \left[x[0]\right]=A}$

та

${\displaystyle \mathrm {E} \left[{\hat {A}}_{2}\right]=\mathrm {E} \left[{\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right]={\frac {1}{N}}\left[\sum _{n=0}^{N-1}\mathrm {E} \left[x[n]\right]\right]={\frac {1}{N}}\left[NA\right]=A}$

На даний момент ці два оцінювачі, здається, виконують однакові дії. Однак різниця між ними стає очевидною при порівнянні дисперсій.

${\displaystyle \mathrm {var} \left({\hat {A}}_{1}\right)=\mathrm {var} \left(x[0]\right)=\sigma ^{2}}$

та

${\displaystyle \mathrm {var} \left({\hat {A}}_{2}\right)=\mathrm {var} \left({\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right){\overset {\text{independence}}{=}}{\frac {1}{N^{2}}}\left[\sum _{n=0}^{N-1}\mathrm {var} (x[n])\right]={\frac {1}{N^{2}}}\left[N\sigma ^{2}\right]={\frac {\sigma ^{2}}{N}}}$

Видається, що середнє значення вибірки є кращим оцінювачем, оскільки його дисперсія нижча для кожного N > 1.

Продовжуючи приклад, використовуючи оцінювач методу максимальної правдоподібності, густиною ймовірності (ФГІ) шуму для одного зразку ${\displaystyle w[n]}$ є

${\displaystyle p(w[n])={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}w[n]^{2}\right)}$

І ймовірність ${\displaystyle x[n]}$ стає (${\displaystyle x[n]}$ можливо розглядати як ${\displaystyle {\mathcal {N}}(A,\sigma ^{2})}$)

${\displaystyle p(x[n];A)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}(x[n]-A)^{2}\right)}$

Згідно незалежності, ймовірність ${\displaystyle \mathbf {x} }$ стає

${\displaystyle p(\mathbf {x} ;A)=\prod _{n=0}^{N-1}p(x[n];A)={\frac {1}{\left(\sigma {\sqrt {2\pi }}\right)^{N}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}\right)}$

Беручи натуральний логарифм ФГІ

${\displaystyle \ln p(\mathbf {x} ;A)=-N\ln \left(\sigma {\sqrt {2\pi }}\right)-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}}$

а оцінювач максимальної правдоподібності —

${\displaystyle {\hat {A}}=\arg \max \ln p(\mathbf {x} ;A)}$

Беремо першу похідну функції логарифмічної правдоподобності

${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}(x[n]-A)\right]={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$

і встановлюємо її в нуль

${\displaystyle 0={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]=\sum _{n=0}^{N-1}x[n]-NA}$

Це дає оцінку максимальної ймовірності

${\displaystyle {\hat {A}}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}$

Що є просто середнім значенням вибірки. З цього прикладу було встановлено, що середнє значення вибірки є оцінювачем максимальної правдоподібності для ${\displaystyle N}$ зразків фіксованого, невідомого параметра, спотвореного АБГШ.

Щоби знайти нижню межу Крамера — Рао (НМКР) оцінювача середнього значення вибірки, спочатку необхідно знайти значення інформації за Фішером

${\displaystyle {\mathcal {I}}(A)=\mathrm {E} \left(\left[{\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)\right]^{2}\right)=-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]}$

і, скопіювавши зверху,

${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$

Взяття другої похідної

${\displaystyle {\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}(-N)={\frac {-N}{\sigma ^{2}}}}$

та пошук від'ємного математичного сподівання є тривіальними, оскільки тепер це є детермінованою сталою ${\displaystyle -\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}}$

Нарешті, підставлення цієї інформації за Фішером до

${\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {1}{\mathcal {I}}}}$

дає в результаті

${\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {\sigma ^{2}}{N}}}$

Порівняння цього з дисперсією вибіркового середнього (визначеною раніше) показує, що вибіркове середнє дорівнює нижній межі Крамера — Рао для всіх значень ${\displaystyle N}$ та ${\displaystyle A}$. Іншими словами, вибіркове середнє є (обов'язково унікальним) ефективним оцінювачем, а отже, також мінімально-дисперсійним незміщеним оцінювачем (МДНО), крім того, що є оцінювачем максимальної ймовірності.

Одним з найпростіших нетривіальних прикладів оцінки є оцінка максимуму рівномірного розподілу. Його використовують як практичну вправу в класних заняттях, та для ілюстрування основних принципів теорії оцінювання. Далі, у випадку оцінки на основі одного зразку, вона демонструє філософські проблеми та можливі непорозуміння при використанні оцінювачів максимальної ймовірності та функцій правдоподібності.

Для заданого дискретного рівномірного розподілу ${\displaystyle 1,2,\dots ,N}$ з невідомим максимумом оцінювач МДНО для максимуму задають як

${\displaystyle {\frac {k+1}{k}}m-1=m+{\frac {m}{k}}-1}$

де m — максимум вибірки, а k — обсяг вибірки, вибирання без повертання.[2][3] Ця задача є широко відомою як задача про німецькі танки, завдяки застосуванню максимального оцінювання до оцінювання виробництва німецьких танків під час Другої світової війни.

Формулу можливо інтуїтивно розуміти як

«Максимум вибірки плюс середній розрив між спостереженнями у вибірці»,

розрив додається для компенсації негативного зміщення максимуму вибірки як оцінки максимуму сукупності.[lower-alpha 1]

Це має дисперсію[2]

${\displaystyle {\frac {1}{k}}{\frac {(N-k)(N+1)}{(k+2)}}\approx {\frac {N^{2}}{k^{2}}}{\text{ for small samples }}k\ll N}$

а отже, стандартне відхилення приблизно ${\displaystyle N/k}$, середній (за сукупністю) розмір розриву між зразками; порівняйте з ${\displaystyle {\frac {m}{k}}}$ вище. Це можливо розглядати як дуже простий випадок максимально-інтервальної оцінки.

Вибірковий максимум є максимально-правдоподібнісним оцінювачем для максимуму сукупності, але, як обговорювалося вище, він є зміщеним.