Робастність у статистиці

У даному розділі розглядаються аспекти, що стосуються оцінювання параметрів закону розподілу по «засміченій» вибірці з використанням підходу, запропонованого Хампелем. Для того, щоб вивчити вплив окремо узятого спостереження на оцінку (розглянуту статистику) того чи іншого параметра закону розподілу Хампелем уводиться так називана функція впливу (influence function), що являє собою ні що інше, як похідну цієї статистики.

Уведемо функціонал ${\displaystyle T\!}$, як функцію від деякої вибірки ${\displaystyle X=(X_{1}\ldots X_{n})\in \mathbb {X} \!}$ з розподілу ${\displaystyle F\!}$ c параметром ${\displaystyle \theta \in \Theta \!}$ (воно ж ${\displaystyle F_{\theta }\!}$). ${\displaystyle T\!}$ залежить від ${\displaystyle X:F_{\theta }\!}$. Значить ${\displaystyle T\!}$ є функцією від закону ${\displaystyle F\!}$ і від параметра ${\displaystyle \theta \!}$. Нехай ${\displaystyle T\!}$ також задовольняє деяким умовам заможності і регулярності:

${\displaystyle T(F)=\theta ,\quad \int T\,\mathrm {d} F=0.\!}$

Визначимо похідну цього функціонала ${\displaystyle T\!}$ у точці з розподілом ${\displaystyle F\!}$ у такий спосіб:

${\displaystyle \exists \,a:\quad \lim _{t\to 0}{\frac {T((1-t)F+tG)-T(F)}{t}}:=\int a\,\mathrm {d} G,\!}$

де ${\displaystyle a\!}$ — деяка функція, зміст якої проясниться на наступному кроці, а ${\displaystyle G\!}$ — деякий закон розподілу, відмінний від ${\displaystyle F\!}$.

Підставимо ${\displaystyle \Delta _{x}\!}$, що приписує одиничну масу події ${\displaystyle X=x\!}$, замість ${\displaystyle G\!}$, у результаті чого від інтеграла в правій частині вираження залишиться тільки ${\displaystyle a(x)\!}$, і перепишемо результат, що вийшов, у наступному виді:

${\displaystyle IF=\lim _{t\to 0}{\frac {T((1-t)F+t\Delta _{x})-T(F)}{t}}\!}$

Цю функцію і називають функцією впливу.

Щоб пояснити зміст уведеного поняття підставимо ${\displaystyle {\frac {1}{n}}\!}$ замість ${\displaystyle t\!}$, замінивши межу. У результаті вираження ${\displaystyle F_{t,x}=(1-t)F+t\Delta _{x}\!}$ перетвориться в ${\displaystyle F_{{\frac {1}{n}},x}={\frac {(n-1)F+\Delta _{x}}{n}}\!}$, що відповідає ситуації, коли у вибірку, що складається з ${\displaystyle (n-1)\!}$ спостереження, що підкоряються розподілу ${\displaystyle F\!}$, додають ще одне нове. У такий спосіб ${\displaystyle IF\!}$ відслідковує реакцію використовуваного функціонала ${\displaystyle T\!}$ на внесене додавання, показуючи вплив від внеску окремого спостереження ${\displaystyle x\!}$ на оцінку по всій сукупності даних.

Для характеристики впливу окремих спостережень також уводять поняття чутливості до великої помилки ${\displaystyle \gamma }$ :

${\displaystyle \gamma =\sup _{x\in \mathbb {X} }|IF(x)|}$

Якщо функція впливу обмежена, то відповідну оцінку називають B(бэ)-робастной.

Найбільш ефективними і широко використовуваними оцінками параметрів законів розподілів є оцінки максимальної правдоподібності (ОМП), що визначаються однією з наступних умов:

${\displaystyle \sum _{i}\ln P_{i}\to \max _{\theta \in \Theta },\qquad \sum _{i}{\frac {\partial \ln P_{i}}{\partial \theta }}=0,\qquad \sum _{i}{\frac {P_{i}'}{P_{i}}}=0\!}$

де у випадку негрупованої вибірки ${\displaystyle P_{i}=f(x_{i},\theta )\!}$, а у випадку групованої — ${\displaystyle P_{i}=\left(\int \limits _{x_{i-1}}^{x_{i}}f(x,\theta )\,\mathrm {d} x\right)^{n_{i}}\!}$

М-оцінки — є деяке узагальнення ОМП. Вони визначаються аналогічно одним зі співвідношень:

${\displaystyle \sum _{i=1}^{N}\rho (x_{i},\theta )\to \max _{\theta \in \Theta },\qquad \sum _{i=1}^{N}\phi (x_{i},\theta )=0\!}$

Якщо накласти умову регулярності в підстановці ${\displaystyle F_{t,x}=(1-t)F+t\Delta _{x}\!}$ і продиференціювать його по ${\displaystyle t\!}$ у 0:

${\displaystyle 0={\frac {\partial }{\partial {t}}}\int \phi (x,T(F_{t,x}))\,\mathrm {d} F_{t,x}\!}$

${\displaystyle 0=\int {\frac {\partial \phi (x,T(F_{t,x}))}{\partial \theta }}IF\,\mathrm {d} F_{t,x}+\int \phi (x,T(F_{t,x}))\,\mathrm {d} {\frac {\partial ((1-t)F+t\Delta _{x})}{\partial t}}\!}$

:: ${\displaystyle 0=IF\int {\frac {\partial \phi (x,T(F_{t,x}))}{\partial \theta }}\,\mathrm {d} F_{t,x}+\phi (x,T(F_{t,x}))\!}$

те не представляє великої праці одержати вираження функції впливу для M-оцінок: ${\displaystyle IF={\frac {-\phi (x)}{\int \phi '_{\theta }(x)\,\mathrm {d} F}}\!}$

Зазначений вираз дозволяє зробити висновок про те, що M-оцінки еквівалентні з точністю до ненульового множника-константи.

Нескладно перевірити, що для ОМП стандартного нормального закону розподілу ${\displaystyle {\mathcal {N}}(0,1)\!}$ функції впливу ${\displaystyle IF\!}$ параметра зрушення і параметра масштабу виглядають відповідно:

${\displaystyle IF=x,\quad IF={\frac {1}{2}}\;x^{2}-{\frac {1}{2}}\!}$

Ці функції необмежені, а це значить, що ОМП не є робастной у термінах B-робастности.

Для того, щоб це виправити, M-оцінки штучно обмежують, а значить і обмежують її ${\displaystyle IF\!}$ (див. вираження ${\displaystyle IF\!}$ для M-оцінок), установлюючи верхній бар'єр на вплив різко виділяються (далеко віддалених від передбачуваних значень параметрів) спостережень. Робиться це введенням так званих усічених M-оцінок, обумовлених вираженням:

${\displaystyle \phi _{b}(z)=\left\{{\begin{array}{lr}\phi (b),&b<z\\\phi (z),&-b<z\leqslant b\\\phi (-b),&z\leqslant -b\end{array}}\right.\!}$

де ${\displaystyle z={\frac {x-\theta }{S}}}$, ${\displaystyle \theta \!}$ і ${\displaystyle S\!}$ — оцінки параметрів зрушення і масштабу відповідно.

Серед усічених M-оцінок оптимальними з погляду B-робастности є усічені ОМП.

Щоб розв’язати рівняння ${\displaystyle \sum _{i=1}^{N}\phi (x_{i},\theta )=0\!}$ необхідно скористатися яким-небудь чисельним методом. Для цього знадобиться вибрати початкові наближення. Нульовим параметром зрушення звичайно служить медіана, параметром масштабу — значення, кратне медіані відхилень від медіани.

Наприклад, якщо необхідно оцінити параметр зрушення, скажемо, нормального закону розподілу, можна скористатися методом Ньютона чисельного перебування коренів рівняння. У результаті вся процедура перебування параметра зводиться до ітеративного обчислення вираження:

${\displaystyle \theta _{k+1}=\theta _{k}-{\frac {\sum _{i=1}^{N}\phi (x_{i},\theta _{k})}{\sum _{i=1}^{N}\phi '_{\theta }(x_{i},\theta _{k})}}=\theta _{k}-{\frac {\sum _{i=1}^{N}\phi \left((x_{i}-\theta _{k})/S\right)}{\sum _{i=1}^{N}\phi '_{\theta }\left((x_{i}-\theta _{k})/S\right)}}=\theta _{k}+S{\frac {\sum _{i=1}^{N}\phi \left(z\right)}{\sum _{i=1}^{N}\phi '_{z}\left(z\right)}}}$,

де ${\displaystyle S\!}$ — деяка оцінка параметра масштабу, що потрібна для того, щоб зрівняти розподілу з різним розмахом.