Функція внеску

За деяких умов закономірності, математичне сподівання ${\displaystyle V}$ по відношенню до спостереження ${\displaystyle x}$ за умови істинності параметру ${\displaystyle \theta }$, що записується як ${\displaystyle \mathbb {E} (V\mid \theta )}$, є нульовим. Щоби побачити це, перепишімо функцію правдоподібності L як функцію густини ймовірності ${\displaystyle L(\theta ;x)=f(x;\theta )}$. Тоді

${\displaystyle {\begin{aligned}\mathbb {E} (V\mid \theta )&=\int _{-\infty }^{+\infty }f(x;\theta ){\frac {\partial }{\partial \theta }}\log L(\theta ;X)\,dx=\int _{-\infty }^{+\infty }{\frac {\partial }{\partial \theta }}\log L(\theta ;X)f(x;\theta )\,dx\\[6pt]&=\int _{-\infty }^{+\infty }{\frac {1}{f(x;\theta )}}{\frac {\partial f(x;\theta )}{\partial \theta }}f(x;\theta )\,dx=\int _{-\infty }^{+\infty }{\frac {\partial f(x;\theta )}{\partial \theta }}\,dx\end{aligned}}}$

Якщо дотримуються певні умови диференційовності (див. Формула Лейбніца), то цей інтеграл може бути переписано як

${\displaystyle {\frac {\partial }{\partial \theta }}\int _{-\infty }^{+\infty }f(x;\theta )\,dx={\frac {\partial }{\partial \theta }}1=0.}$

Варто перевикласти отриманий вище результат словами: математичне сподівання внеску є нульовим. Таким чином, якщо потрібно було повторювано брати проби з деякого розподілу, і повторювано обчислювати внесок, то при наближенні числа повторюваних проб до нескінченності середнє значення цих внесків прямуватиме до нуля.

Дисперсія внеску відома як інформація за Фішером, і записується як ${\displaystyle {\mathcal {I}}(\theta )}$. Оскільки математичне сподівання внеску є нульовим, її може бути записано як

${\displaystyle {\mathcal {I}}(\theta )=\mathbb {E} \left\{\left.\left[{\frac {\partial }{\partial \theta }}\log L(\theta ;X)\right]^{2}\right|\theta \right\}.}$

Зауважте, що визначена таким чином інформація за Фішером не є функцією будь-якого конкретного спостереження, оскільки випадкову змінну ${\displaystyle X}$ було усереднено. Це поняття інформації є корисним при порівнянні двох методів спостереження деякого випадкового процесу.

Розгляньмо процес Бернуллі з A успіхами та B невдачами; ймовірністю успіху є θ.

Тоді правдоподібністю L є

${\displaystyle L(\theta ;A,B)={\frac {(A+B)!}{A!B!}}\theta ^{A}(1-\theta )^{B},}$

таким чином, внеском V є

${\displaystyle V={\frac {1}{L}}{\frac {\partial L}{\partial \theta }}={\frac {A}{\theta }}-{\frac {B}{1-\theta }}.}$

Тепер ми можемо перевірити, що математичне сподівання внеску є нульовим. Зауважуючи, що математичним сподіванням A є nθ, а математичним сподіванням B є n(1 − θ) [пригадаймо, що A та B є випадковими змінними], ми можемо побачити, що математичним сподіванням V є

${\displaystyle E(V)={\frac {n\theta }{\theta }}-{\frac {n(1-\theta )}{1-\theta }}=n-n=0.}$

Ми можемо також перевірити й дисперсію ${\displaystyle V}$. Нам відомо, що A + B = n (таким чином, B = n − A), і що дисперсією A є nθ(1 − θ), таким чином, дисперсією V є

${\displaystyle {\begin{aligned}\operatorname {var} (V)&=\operatorname {var} \left({\frac {A}{\theta }}-{\frac {n-A}{1-\theta }}\right)=\operatorname {var} \left(A\left({\frac {1}{\theta }}+{\frac {1}{1-\theta }}\right)\right)\\&=\left({\frac {1}{\theta }}+{\frac {1}{1-\theta }}\right)^{2}\operatorname {var} (A)={\frac {n}{\theta (1-\theta )}}.\end{aligned}}}$

Для моделей з двійковими виходами (Y = 1 або 0) внесок моделі може оцінюватися за допомогою логарифму передбачень

${\displaystyle S=Y\log(p)+(1-Y)(\log(1-p))}$

де p є ймовірністю в оцінюваній моделі, а S є внеском.[7]

Внесковий алгоритм (англ. scoring algorithm) — це ітеративний метод чисельного визначення статистичної оцінки максимальної правдоподібності.