Коваріаційна матриця

• нехай ${\displaystyle \mathbf {X}$ :\Omega \to \mathbb {R} ^{n}} , ${\displaystyle \mathbf {Y}$ :\Omega \to \mathbb {R} ^{m}}  — два випадкових вектора розмірності ${\displaystyle n}$ і ${\displaystyle m}$ відповідно. Нехай також випадкові величини ${\displaystyle X_{i},Y_{j},\;i=1,\ldots ,n,\;j=1,\ldots ,m}$ мають скінченний другий момент, тобто ${\displaystyle X_{i},Y_{j}\in L^{2}}$. Тоді матрицею коваріації ${\displaystyle \mathbf {X} ,\mathbf {Y} }$ називається

${\displaystyle \Sigma =\mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbb {E} \left[(\mathbf {X} -\mathbb {E} \mathbf {X} )(\mathbf {Y} -\mathbb {E} \mathbf {Y} )^{\top }\right],}$

тобто

${\displaystyle \Sigma =(\sigma _{ij})}$,

де

${\displaystyle \sigma _{ij}=\mathrm {cov} (X_{i},Y_{j})\equiv \mathbb {E} \left[(X_{i}-\mathbb {E} X_{i})(Y_{j}-\mathbb {E} Y_{j})\right],\;i=1,\ldots ,n,\;j=1,\ldots ,m}$.

• Якщо ${\displaystyle \mathbf {X} \equiv \mathbf {Y} }$, то ${\displaystyle \Sigma }$ називається матрицею коваріації вектора ${\displaystyle \mathbf {X} }$ і позначається ${\displaystyle \mathrm {cov} (\mathbf {X} )}$. Така матриця коваріацій є узагальненням дисперсії для багатовимірної випадкової величини, а її слід — скалярним виразом дисперсії багатовимірної випадкової величини. Власні вектори і власні значення цієї матриці дозволяють оцінити розміри і форму хмари розподілу випадкової величини, апроксимувавши її еліпсоїдом (або еліпсом у двовимірному випадку) .

• Скорочена формула для обчислення матриці коваріації:

${\displaystyle \mathrm {cov} (\mathbf {X} )=\mathbb {E} \left[\mathbf {X} \mathbf {X} ^{\top }\right]-\mathbb {E} [\mathbf {X} ]\cdot \mathbb {E} \left[\mathbf {X} ^{\top }\right]}$.

• Матриця коваріації випадкового вектора невід'ємно визначена:

${\displaystyle \mathrm {cov} (\mathbf {X} )\geq 0}$.

• Зміна масштабу:

${\displaystyle \mathrm {cov} \left(\mathbf {a} ^{\top }\mathbf {X} \right)=\mathbf {a} ^{\top }\mathrm {cov} (\mathbf {X} )\mathbf {a} ,\;\forall \mathbf {a} \in \mathbb {R} ^{n}}$.

• Якщо випадкові вектори ${\displaystyle \mathbf {X} }$ і ${\displaystyle \mathbf {Y} }$ некорельовані (${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbf {0} }$), то

${\displaystyle \mathrm {cov} (\mathbf {X} +\mathbf {Y} )=\mathrm {cov} (\mathbf {X} )+\mathrm {cov} (\mathbf {Y} )}$.

• Матриця коваріації афінного перетворення:

${\displaystyle \mathrm {cov} \left(\mathbf {A} \mathbf {X} +\mathbf {b} \right)=\mathbf {A} \mathrm {cov} (\mathbf {X} )\mathbf {A} ^{\top }}$,

де ${\displaystyle \mathbf {A} }$ — довільна матриця розмірності ${\displaystyle n\times n}$, а ${\displaystyle \mathbf {b} \in \mathbb {R} ^{n}}$.

• Перестановка аргументів:

${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathrm {cov} (\mathbf {Y} ,\mathbf {X} )^{\top }}$

• Матриця коваріації адитивна за кожним аргументом:

${\displaystyle \mathrm {cov} (\mathbf {X} _{1}+\mathbf {X} _{2},\mathbf {Y} )=\mathrm {cov} (\mathbf {X} _{1},\mathbf {Y} )+\mathrm {cov} (\mathbf {X} _{2},\mathbf {Y} )}$,

${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{1}+\mathbf {Y} _{2})=\mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{1})+\mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{2})}$.

• Якщо ${\displaystyle \mathbf {X} }$ і ${\displaystyle \mathbf {Y} }$ незалежні, то

${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbf {0} }$.

• Згідно з законом додавання дисперсій, алгебраїчна сума значень коваріаційної матриці системи випадкових величин дорівнює дисперсії суми цих величин.

• Якщо величини ${\displaystyle X_{1},X_{2},\dots ,X_{N}}$ утворюють коло K, коло L або коло M, тоді алгебраїчна сума значень будь-якого стовпчика або рядка коваріаційної матриці системи таких величин дорівнює нулю[1].