Відстань Кука

Дані з великими значеннями залишків (викиди) та/або великими значеннями важелів можуть спотворювати результати й точність регресійної моделі. Відстань Кука вимірює ефект видалення даного спостереження з вибірки. Вважається, що для спостережень з великою відстанню Кука доцільно проводити більш глибокий аналіз.

Для алгебраїчного представлення спочатку визначимо:

${\displaystyle {\underset {n\times 1}{\mathbf {y} }}={\underset {n\times p}{\mathbf {X} }}\quad {\underset {p\times 1}{\boldsymbol {\beta }}}\quad +\quad {\underset {n\times 1}{\boldsymbol {\epsilon }}}}$

де ${\displaystyle {\boldsymbol {\epsilon }}\sim {\mathcal {N}}\left(0,\sigma ^{2}\mathbf {I} \right)}$ — похибки регресії, ${\displaystyle {\boldsymbol {\beta }}=\left[\beta _{0}\,\beta _{1}\dots \beta _{p-1}\right]^{\mathsf {T}}}$ — параметри регресії, ${\displaystyle \mathbf {X} }$ — матриця регресорів із одиничним першим стовпчиком. Тоді оцінка коефіцієнтів регресії методом найменших квадратів  має представлення ${\displaystyle \mathbf {b} =\left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} }$, а отже, відповідно, прогнозовані значення для ${\displaystyle \mathbf {y} }$ обчислюються за формулою:

${\displaystyle \mathbf {\hat {y}} =\mathbf {X} \mathbf {b} =\mathbf {X} \left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} =\mathbf {H} \mathbf {y} }$

де ${\displaystyle \mathbf {H} \equiv \mathbf {X} (\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}}$— проекційна матриця. Причому ${\displaystyle i}$-тий діагональний елемент матриці ${\displaystyle \mathbf {H} \,}$, що обчислюється як ${\displaystyle h_{i}\equiv \mathbf {x} _{i}^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {x} _{i}}$,[4] називається важелем ${\displaystyle i}$-го спостереження. Аналогічно, ${\displaystyle i}$-тий елемент вектора залишків має вигляд ${\displaystyle \mathbf {e} =\mathbf {y} -\mathbf {\hat {y}} =\left(\mathbf {I} -\mathbf {H} \right)\mathbf {y} }$ і позначається як ${\displaystyle e_{i}}$.

Відстань Кука ${\displaystyle D_{i}}$ спостереження ${\displaystyle i\;(\forall i=1,\dots ,n)}$ визначається як сума всіх змін у регресійній моделі, у разі видалення ${\displaystyle i}$-го спостереження

${\displaystyle D_{i}={\frac {\sum _{j=1}^{n}\left({\hat {y}}_{j}-{\hat {y}}_{j(i)}\right)^{2}}{ps^{2}}}}$

де ${\displaystyle {\hat {y}}_{j(i)}}$ — прогноз відгука, отриманий вилученням ${\displaystyle i}$-го спостереження,

де ${\displaystyle s^{2}\equiv \left(n-p\right)^{-1}\mathbf {e} ^{\top }\mathbf {e} }$ — середньоквадратична похибка регресійної моделі.[5]

Аналогічно, відстань Кука можна виразити через важелі

${\displaystyle D_{i}={\frac {e_{i}^{2}}{s^{2}p}}\left[{\frac {h_{i}}{(1-h_{i})^{2}}}\right]}$

Існують різні припущення щодо того, які межі використовувати для виявлення точок із великим впливом. Пропонується, у разі ${\displaystyle D_{i}>1}$ ввжати спостереження впливовим.[6] Також, іноді використовується припущення, що слід враховувати ${\displaystyle D_{i}>4/n}$, де ${\displaystyle n}$ - кількість спостережень.[7]

Зокрема, ${\displaystyle D_{i}}$ можна інтерпретувати як відстань, яку проходить оцінка, в межах довірчого еліпсоїда, що є областю вірогідних значень параметра.^{[прояснити]} Це показується за допомогою альтернативного, проте еквівалентного зображення відстані Кука в термінах зміни оцінки параметра у випадку включення та виключення конкретного спотсереження з регресіного аналізу.

• Atkinson, Anthony; Riani, Marco (2000). Deletion Diagnostics. Robust Diagnostics and Regression Analysis. New York: Springer. с. 22–25. ISBN 0-387-95017-6.
• Heiberger, Richard M.; Holland, Burt (2013). Case Statistics. Statistical Analysis and Data Display. Springer Science & Business Media. с. 312–27. ISBN 9781475742848.
• Krasker, William S.; Kuh, Edwin; Welsch, Roy E. (1983). Estimation for dirty data and flawed models. Handbook of Econometrics 1. Elsevier. с. 651–698. doi:10.1016/S1573-4412(83)01015-6.
• Aguinis, Herman; Gottfredson, Ryan K.; Joo, Harry (2013). Best-Practice Recommendations for Defining Identifying and Handling Outliers. Organizational Research Methods (Sage) 16 (2): 270–301.