Відношення Релея

Коваріаційну матрицю ${\displaystyle M}$ для багатовимірної статистичної вибірки ${\displaystyle A}$ (матриці спостережень) можна подати у вигляді добутку ${\displaystyle A'A}$[9][10]. Як симетрична дійсна матриця, ${\displaystyle M}$ має невід'ємні власні значення і ортогональні (або звідні до ортогональних) власні вектори.

По-перше, оскільки власні значення ${\displaystyle \lambda _{i}}$ не від'ємні:

${\displaystyle Mv_{i}=A'Av_{i}=\lambda _{i}v_{i}}$

${\displaystyle \Rightarrow v_{i}'A'Av_{i}=v_{i}'\lambda _{i}v_{i}}$

${\displaystyle \Rightarrow \left\|Av_{i}\right\|^{2}=\lambda _{i}\left\|v_{i}\right\|^{2}}$

${\displaystyle \Rightarrow \lambda _{i}={\frac {\left\|Av_{i}\right\|^{2}}{\left\|v_{i}\right\|^{2}}}\geq 0}$

і, по-друге, оскільки власні вектори ${\displaystyle v_{i}}$ ортогональні один з одним:

${\displaystyle Mv_{i}=\lambda _{i}v_{i}}$

${\displaystyle \Rightarrow v_{j}'Mv_{i}=\lambda _{i}v_{j}'v_{i}}$

${\displaystyle \Rightarrow (Mv_{j})'v_{i}=\lambda _{i}v_{j}'v_{i}}$

${\displaystyle \Rightarrow \lambda _{j}v_{j}'v_{i}=\lambda _{i}v_{j}'v_{i}}$

${\displaystyle \Rightarrow (\lambda _{j}-\lambda _{i})v_{j}'v_{i}=0}$

${\displaystyle \Rightarrow v_{j}'v_{i}=0}$, якщо власні значення різні; в разі однакових значень можна знайти ортогональний базис.

Тепер покажемо, що відношення Релея набуває найбільшого значення на векторі, відповідному найбільшому власному значенню. Розкладемо довільний вектор ${\displaystyle x}$ за базисом власних векторів ${\displaystyle v_{j}}$:

${\displaystyle x=\sum _{i=1}^{n}\alpha _{i}v_{i}}$, де ${\displaystyle \alpha _{i}={\frac {x'v_{i}}{v_{i}'v_{i}}}={\frac {\langle x,v_{i}\rangle }{\left\|v_{i}\right\|^{2}}}}$ є проєкцією ${\displaystyle x}$ на ${\displaystyle v_{i}}$

Отже, рівність

${\displaystyle R(M,x)={\frac {x'A'Ax}{x'x}}}$

можна переписати так:

${\displaystyle R(M,x)={\frac {(\sum _{j=1}^{n}\alpha _{j}v_{j})'A'A(\sum _{i=1}^{n}\alpha _{i}v_{i})}{(\sum _{j=1}^{n}\alpha _{j}v_{j})'(\sum _{i=1}^{n}\alpha _{i}v_{i})}}}$

Оскільки власні вектори ортогональні, остання рівність перетворюється на

${\displaystyle R(M,x)={\frac {\sum _{i=1}^{n}\alpha _{i}^{2}\lambda _{i}}{\sum _{i=1}^{n}\alpha _{i}^{2}}}=\sum _{i=1}^{n}\lambda _{i}{\frac {(x'v_{i})^{2}}{(x'x)(v_{i}'v_{i})}}}$

Остання рівність показує, що відношення Релея є сумою квадратів косинусів кутів між вектором ${\displaystyle x}$ і кожним з власних векторів ${\displaystyle v_{i}}$, помножених на відповідне власне значення.

Якщо вектор ${\displaystyle x}$ максимізує ${\displaystyle R(M,x)}$, то всі вектори, отримані з ${\displaystyle x}$ множенням на скаляр (${\displaystyle kx}$ для ${\displaystyle k\neq 0}$) також максимізують ${\displaystyle R}$. Таким чином, задачу можна звести до знаходження максимуму ${\displaystyle \sum _{i=1}^{n}\alpha _{i}^{2}\lambda _{i}}$ за умови ${\displaystyle \sum _{i=1}^{n}\alpha _{i}^{2}=1}$.

Оскільки всі власні числа не від'ємні, задача зводиться до знаходження максимуму опуклої функція і можна показати, що він досягається при ${\displaystyle \alpha _{1}=1}$ і ${\displaystyle \forall i>1,\alpha _{i}=0}$ (власні значення впорядковані за спаданням).

Таким чином, відношення Релея досягає максимуму на власному векторі, відповідному найбільшому власному значенню.

Теорія Штурма — Ліувілля полягає в дослідженні лінійного оператора

${\displaystyle L(y)={\frac {1}{w(x)}}\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y\right)}$

зі скалярним добутком

${\displaystyle \langle {y_{1},y_{2}}\rangle =\int _{a}^{b}w(x)y_{1}(x)y_{2}(x)\,dx}$,

де функції задовольняють деяким специфічним граничним умовам у точках ${\displaystyle a}$ і ${\displaystyle b}$. Відношення Релея тут набуває вигляду

${\displaystyle {\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}{y(x)\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y(x)\right)}dx}{\int _{a}^{b}{w(x)y(x)^{2}}dx}}.}$

Іноді це відношення подають в еквівалентному вигляді, скориставшись інтегруванням частинами[11]:

${\displaystyle {\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}{y(x)\left(-{\frac {d}{dx}}\left[p(x)y'(x)\right]\right)}dx+\int _{a}^{b}{q(x)y(x)^{2}}\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}}$

${\displaystyle ={\frac {-y(x)\left[p(x)y'(x)\right]|_{a}^{b}+\int _{a}^{b}{y'(x)\left[p(x)y'(x)\right]}\,dx+\int _{a}^{b}{q(x)y(x)^{2}}\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}}$

${\displaystyle ={\frac {-p(x)y(x)y'(x)|_{a}^{b}+\int _{a}^{b}\left[p(x)y'(x)^{2}+q(x)y(x)^{2}\right]\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}.}$

Для будь-якої пари ${\displaystyle (A,B)}$ дійсних симетричних додатноозначених матриць і ненульового вектора ${\displaystyle x}$, узагальнене відношення Релея визначається як

${\displaystyle R(A,B;x):={\frac {x^{T}Ax}{x^{T}Bx}}.}$

Узагальнене відношення Релея можна звести до відношення Релея ${\displaystyle R(D,Cx)}$ перетворенням ${\displaystyle D={C^{*}}^{-1}AC^{-1}}$, де ${\displaystyle C}$ — розклад Холецького матриці ${\displaystyle B}$.

• Числовий образ матриці

• Б. Парлетт. Симметричная проблема собственных значений. Численные методы. — 1983.
• Э. Беккенббах, Р. Беллман. Неравенства. — М. : «Мир», 1965.
• Richard Haberman. Elementary applied partial differential equations. — Prentice Hall, Englewood, New Jersey, 1987.
• В. М. Вержбицкий. Численные методы (Линейная алгебра и нелинейные уравнения). — М. : «Высшая школа», 2000.
• В. В. Прасолов. Задачи и теоремы линейной алгебры. — М, 2008.
• Геворгян Л. З. Некоторые геометрические характеристики числового образа оператора. — Государственный Инженерный Университет Армении. Архівовано з джерела 31 серпня 2006.
• Zdzisław Burda, Jerzy Jurkiewicz, Bartłomiej Wacław. Eigenvalue density of empirical covariance matrix for correlated samples // Acta physica polonica B. — 2005. — Т. 36, вип. 9 (18 грудня). — С. 2642.
• Коршунов Ю. М. Получение многомерной статистической выборки с заданными корреляционными свойствами // Вестник РГРТУ. — 2008. — Вип. 23 (18 грудня).
• Shi Yu, Léon-Charles Tranchevent, Bart Moor, Yves Moreau. Ch. 2 // Kernel-based Data Fusion for Machine Learning: Methods and Applications in Bioinformatics and Text Mining. — Springer, 2011.