Нерівність Крамера — Рао

Нехай дано статистичну модель ${\displaystyle (X,\,B,\,P_{\theta })}$, ${\displaystyle x=(x_{1},\dots ,\,x_{n})}$ — вибірка розміру ${\displaystyle n}$, визначена функція правдоподібності ${\displaystyle L(\theta ,\,x)=L(\theta ,\;x_{1},\,x_{2},\dots \,x_{n})}$ і виконані такі умови (умови регулярності):

• ${\displaystyle L_{}^{}>0}$ і всюди диференційована по ${\displaystyle \theta _{}^{}}$.
• Функція ${\displaystyle U(\theta ,\,x)={\frac {\partial \ln L(\theta ,\,x)}{\partial \theta }}}$ (функція впливу або внеску вибірки) має скінченну дисперсію (або, що те саме,скінченна інформація за Фішером)
• Для будь-якої статистики ${\displaystyle {\widehat {\theta }}(x)}$ з скінченним другим моментом має місце рівність

${\displaystyle {\frac {\partial }{\partial \theta }}\int \limits _{X}{\widehat {\theta }}(x)\,L(\theta ,\,x)\,dx=\int \limits _{X}{\widehat {\theta }}(x)\,{\frac {\partial }{\partial \theta }}L(\theta ,\,x)\,dx}$.

Нехай при цих умовах дано статистику ${\displaystyle {\widehat {\theta }}(x)}$, яка незміщено оцінює диференційовну функцію ${\displaystyle \tau (\theta )}$. Тоді справедлива наступна нерівність:

• ${\displaystyle \mathrm {D} _{\theta }{\big (}{\widehat {\theta }}(x){\big )}\geqslant {\frac {{\big (}\tau '(\theta ){\big )}^{2}}{I_{n}(\theta )}}}$;
• рівність досягається тоді і тільки тоді, коли ${\displaystyle {\widehat {\theta }}(x)-\tau (\theta )}$ представляється у вигляді ${\displaystyle a(\theta )U(\theta ,\,x)}$.

Тут ${\displaystyle I_{n}^{}(\theta )}$ — інформація за Фішером.

Часто використовується наступний частковий випадок нерівності, що наведена вище, що має назву нерівність Крамера-Рао. Нехай виконані умови регулярності, а ${\displaystyle {\widehat {\theta }}(x)}$ — незміщена оцінка параметра ${\displaystyle \theta }$. Тоді

${\displaystyle \mathrm {D} _{\theta }\,{\widehat {\theta }}(x)\geqslant {\frac {1}{I_{n}(\theta )}}}$.

Рівність в цій нерівності досягається тоді і тільки тоді, коли ${\displaystyle {\hat {\theta }}(x)-\theta =a(\theta )U(\theta ,x)}$.

Оцінка параметра називається ефективною, якщо для неї нерівність Крамера-Рао перетворюється в рівність. Таким чином, нерівність може бути використана для доведення того, що дисперсія даної оцінки найменша з можливих, тобто що дана оцінка в деякому сенсі краща за інші.

• Математическая статистика, под ред. В.С. Зарубина, серия "Математика в техническом университете", вып. XVII, М., МГТУ, 2002
• FandPLimitTool