Часткова кореляція

Простий спосіб обчислити часткову кореляцію для деяких даних полягає у розв'язанні двох пов'язаних задач лінійної регресії, отримати залишки і обчислити кореляцію між ними. Нехай X та Y , будуть, як зазначено вище, випадковими величинами, що приймають дійсні значення, і нехай Z буде n-мірним вектором значень випадкової величини. Будемо писати x_i, y_i та z_i для позначення i-того з N н.о.р. спостережень деякого спільного розподілу ймовірностей над дійсними випадковими величинами X, Y та Z, де z_i збільшуються на 1, для того, щоб у лінійній регресії була присутня стала (тобто, буде не нульовий доданок). Розв'язання лінійної задачі регресії зводиться до знаходження (n+1)-мірних коефіцієнтів векторів ${\displaystyle \mathbf {w} _{X}^{*}}$ і ${\displaystyle \mathbf {w} _{Y}^{*}}$ таких, що

${\displaystyle \mathbf {w} _{X}^{*}=\arg \min _{\mathbf {w} }\left\{\sum _{i=1}^{N}(x_{i}-\langle \mathbf {w} ,\mathbf {z} _{i}\rangle )^{2}\right\}}$

${\displaystyle \mathbf {w} _{Y}^{*}=\arg \min _{\mathbf {w} }\left\{\sum _{i=1}^{N}(y_{i}-\langle \mathbf {w} ,\mathbf {z} _{i}\rangle )^{2}\right\}}$

де N означає число спостережень і ${\displaystyle \langle \mathbf {w} ,\mathbf {v} \rangle }$ позначає скалярний добуток між векторами w and v. Слід зазначити, що в деяких джерелах регресія включає в себе постійний член, так що матриця z буде мати додатковий стовпчик з одиниць.

Залишки будуть

${\displaystyle e_{X,i}=x_{i}-\langle \mathbf {w} _{X}^{*},\mathbf {z} _{i}\rangle }$

${\displaystyle e_{Y,i}=y_{i}-\langle \mathbf {w} _{Y}^{*},\mathbf {z} _{i}\rangle }$

і приклад часткової кореляції обчислюється за звичайною формулою для вибіркової кореляції, але між цими новими отриманими значеннями. 

${\displaystyle {\hat {\rho }}_{XY\cdot \mathbf {Z} }={\frac {N\sum _{i=1}^{N}e_{X,i}e_{Y,i}-\sum _{i=1}^{N}e_{X,i}\sum _{i=1}^{N}e_{Y,i}}{{\sqrt {N\sum _{i=1}^{N}e_{X,i}^{2}-\left(\sum _{i=1}^{N}e_{X,i}\right)^{2}}}~{\sqrt {N\sum _{i=1}^{N}e_{Y,i}^{2}-\left(\sum _{i=1}^{N}e_{Y,i}\right)^{2}}}}}}$

${\displaystyle ={\frac {N\sum _{i=1}^{N}e_{X,i}e_{Y,i}}{{\sqrt {N\sum _{i=1}^{N}e_{X,i}^{2}}}~{\sqrt {N\sum _{i=1}^{N}e_{Y,i}^{2}}}}}.}$

У першому виразі три доданки після знаків мінус всі рівні 0, оскільки кожен містить суму залишків регресії звичайного методу найменших квадратів.

Це може бути ресурсномістким у обчислюванні задач лінійної регресії. Насправді, n-порядок часткової кореляції (тобто з |Z| = n) може бути легко обчислено з трьох (n—1)-го порядку часткової кореляції. Нульовий порядок часткової кореляції ρ_XY·Ø визначається як звичайний коефіцієнт кореляції ρ_XY.

Для будь-якого ${\displaystyle Z_{0}\in \mathbf {Z} ,}$ виконується

${\displaystyle \rho _{XY\cdot \mathbf {Z} }={\frac {\rho _{XY\cdot \mathbf {Z} \setminus \{Z_{0}\}}-\rho _{XZ_{0}\cdot \mathbf {Z} \setminus \{Z_{0}\}}\rho _{Z_{0}Y\cdot \mathbf {Z} \setminus \{Z_{0}\}}}{{\sqrt {1-\rho _{XZ_{0}\cdot \mathbf {Z} \setminus \{Z_{0}\}}^{2}}}{\sqrt {1-\rho _{Z_{0}Y\cdot \mathbf {Z} \setminus \{Z_{0}\}}^{2}}}}}.}$

Наївно реалізації даного розрахунку як рекурсивний алгоритм  експоненту тимчасової складності. Однак, це обчислення має характеристику перекривних підзадач, таких, що за допомогою динамічного програмування або просто кешування результатів рекурсивних викликів призводить до складності ${\displaystyle {\mathcal {O}}(n^{3})}$.

Примітка: у разі, якщо Z є єдиною змінною, це призводить до:

${\displaystyle \rho _{XY\cdot Z}={\frac {\rho _{XY}-\rho _{XZ}\rho _{ZY}}{{\sqrt {1-\rho _{XZ}^{2}}}{\sqrt {1-\rho _{ZY}^{2}}}}}.}$

За час ${\displaystyle {\mathcal {O}}(n^{3})}$, інший підхід дозволяє всім частковим кореляціям обчислюватися між будь-якими двома змінними X_i та X_j у множині V потужності n, враховуючи всі інші, тобто ${\displaystyle \mathbf {V} \setminus \{X_{i},X_{j}\}}$, якщо кореляційна матриця (або матриця коваріацій) Ω = (ρ_XiXj) є позитивно визначеною і, отже, оборотною. Якщо ми визначаємо P = (p_ij ) = Ω⁻¹, ми маємо:

${\displaystyle \rho _{X_{i}X_{j}\cdot \mathbf {V} \setminus \{X_{i},X_{j}\}}=-{\frac {p_{ij}}{\sqrt {p_{ii}p_{jj}}}}.}$

Нехай три змінні X, Y, Z (де Z — це «контрольна» або «Додаткова змінна») вибирається з спільного розподілу ймовірностей за n змінних V. Далі vi, 1 ≤ i ≤ N, де N це n-мірніНезалежні однаково розподілені випадкові величини незалежні однаково розподілені вибірки, взяті із загального розподілу ймовірностей над V. Потім ми розглянемо в N-мірних векторів х (утворений послідовністю значень х за зразками), y (утворену значеннями Y) i z (утворену значеннями Z).

Можна показати, що залишки R_Х , йдуть від лінійної регресії X на Z, якщо також розглядати як N-мірний вектор r_Х, мають нульовий скалярний добуток з вектором z породженною Z. Це означає, що вектор залишків лежить на (n-1)-мірною [ гіперплощиною] Sz, яка перпендикулярна до z.

Те ж саме відноситься до залишків RY породженним вектора rY. Якщо бажана часткова кореляція тоді косинус кута φ між проекціями rX і rY  х і y, відповідно, на гіперплощину, перпендикулярну Z.[2]^{:ch. 7}

За умови, що всі задіяні змінні це багатовимірні Гауссівського, часткової кореляції ρ_ху·Z дорівнюють нулю, тоді і тільки тоді, коли х є умовно незалежноюY даного Z.[3] Ця властивість не використовується в загальному випадку.

Щоб перевірити, що зразок часткової кореляції ${\displaystyle }$ зникає, використовують Z-перетворення в часткові кореляції Фішера :

${\displaystyle }$

У нульовій гіпотезі є ${\displaystyle }$для тестування проти двох хвостових альтернатив${\displaystyle }$. Ми відкидаємо н₀ з рівнем значущості α , якщо:

${\displaystyle }$

де Φ(·) є кумулятивною функцією розподілу з Гауссовим розподілом з нульовим значенням і одиницею стандартного відхилення, та N — це розмір вибірки. Зверніть увагу, що z-перетворення є приблизними і, що фактичний розподіл вибірки (частковий) коефіцієнту кореляції є не однозначним. Однак точний T-тест, заснований на поєднанні коефіцієнту часткової регресії, частковому коефіцієнті кореляції і частковій дисперсії є доступними.[4]

Розподіл вибірки часткової кореляція було описано Фішером.[5]