Ентропія Реньї

У теорії інформації ентропія Реньї — узагальнення ентропії Шеннона — є сімейством функціоналів, використовуваних як міра кількісної різноманітності, невизначеності або випадковості деякої системи. Названо на честь Альфреда Реньї.

Якщо деяка система має дискретну множину доступних станів $X=\{x_{1},...,x_{n}\}$ , якій відповідає розподіл імовірностей $p_{i}$ для $i=1,...,n$ (тобто $p_{i}$ — ймовірності перебування системи в станах $x_{i}$ ), то ентропія Реньї з параметром $\alpha$ (при $\alpha \geq 0$ і $\alpha \neq 1$ ) системи визначається як

\mathrm {H} _{\alpha }(X)={\frac {1}{1-\alpha }}\log \sum _{i=1}^{n}p_{i}^{\alpha }={\frac {1}{1-\alpha }}\log {\Big \langle }p^{\alpha -1}{\Big \rangle }

,

де кутовими дужками позначено математичне очікування за розподілом $p_{i}$ ( $p$ — ймовірність перебування системи в деякому стані як випадкова величина), логарифм береться за основою 2 (для рахунку в бітах) чи іншою зручною основою (більшою від 1). Основа логарифма визначає одиницю вимірювання ентропії. Так, у математичній статистиці зазвичай використовується натуральний логарифм.

Якщо всі ймовірності $p_{i}=1/n$ , тоді за будь-якого $\alpha$ ентропія Реньї $\mathrm {H} _{\alpha }(X)=\log n$ . Інакше $\alpha$ -ентропія спадає як функція $\alpha$ . Причому вищі значення $\alpha$ (що прямують до нескінченності) надають ентропії Реньї значення, більшою мірою визначені лише найвищими ймовірностями подій (тобто внесок в ентропію малоймовірних станів зменшується). Проміжний випадок $\alpha =1$ у границі дає ентропію Шеннона, яка має особливі властивості. Нижчі значення $\alpha$ (що прямують до нуля), дають значення ентропії Реньї, яке зважує можливі події рівномірніше, менше залежно від їх імовірностей. А при $\alpha =0$ отримуємо максимально можливу $\alpha$ -ентропію, рівну $\log n$ незалежно від розподілу (тільки аби $p_{i}\neq 0$ ).

Сенс параметра $\alpha$ можна описати, кажучи неформальною мовою, як сприйнятливість функціоналу до відхилення стану системи від рівноважного: що більше $\alpha$ , то швидше зменшується ентропія за відхилення системи від рівноважного стану. Сенс обмеження $\alpha \geq 0$ полягає в тому, щоб забезпечувалося збільшення ентропії за наближення системи до рівноважного (більш імовірного) стану. Ця вимога є природною для поняття «ентропія». Слід зауважити, що для ентропії Цалліса, яка еквівалентна ентропії Реньї з точністю до незалежного від $X$ монотонного перетворення, відповідне обмеження часто опускають, при цьому для від'ємних значень параметра замість максимізації ентропії використовують її мінімізацію.

Ентропія Реньї відіграє важливу роль в екології і статистиці, визначаючи так звані індекси різноманітності. Ентропія Реньї також важлива в квантовій інформації, її можна використовувати як міру складності. У ланцюжку Гейзенберга $XY$ ентропію Реньї розраховано в термінах модулярних функцій, що залежать від $\alpha$ . Вони також призводять до спектру показників фрактальної розмірності.

Η_α для деяких конкретних значень α

Деякі окремі випадки

при $\alpha =0$ ентропія Реньї не залежить від імовірностей станів (вироджений випадок) і дорівнює логарифму числа станів (логарифму потужності множини $X$ ):

\mathrm {H} _{0}(X)=\log n=\log |X|

.

Цю ентропію іноді називають ентропією Гартлі. Вона використовується, наприклад, у формулюванні принципу Больцмана.

У границі при $\alpha \to 1$ , можна показати, використовуючи правило Лопіталя, що $\mathrm {H} _{\alpha }$ збігається до ентропії Шеннона. Таким чином, сімейство ентропій Реньї можна довизначити функціоналом

\mathrm {H} _{1}(X){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to 1}\mathrm {H} _{\alpha }(X)=\mathrm {H} (X)=-\sum _{i=1}^{n}p_{i}\log p_{i}

.

Квадратична ентропія, іноді звана ентропією зіткнень, — це ентропія Реньї з параметром $\alpha =2$ :

\mathrm {H} _{2}(X)=-\log \sum _{i=1}^{n}p_{i}^{2}=-\log \operatorname {Prob} \{x=y\}

,

де $x$ і $y$ — незалежні випадкові величини, однаково розподілені на множині $X$ з імовірністю $p_{i}$ ( $i=1,...,n$ ). Квадратична ентропія використовується у фізиці, обробці сигналів, економіці.

Існує границя

\mathrm {H} _{\infty }(X){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to \infty }\mathrm {H} _{\alpha }(X)=-\log \sup _{i}p_{i}

,

яку називають min-ентропією, тому що це найменше значення $\mathrm {H} _{\alpha }$ . Ця ентропія також є виродженим випадком, оскільки її значення визначається тільки найбільш імовірним станом.

Нерівності для різних значень α

Два останніх випадки пов'язані співвідношенням $\mathrm {H} _{\infty }<\mathrm {H} _{2}<2\mathrm {H} _{\infty }$ . З іншого боку, ентропія Шеннона $\mathrm {H} _{1}(X)$ може бути як завгодно високою для розподілу X із фіксованою min-ентропією.

\mathrm {H} _{2}<2\mathrm {H} _{\infty }

тому що

\log \sum \limits _{i=1}^{n}{p_{i}^{2}}\geq \log \sup _{i}p_{i}^{2}=2\log \sup _{i}p_{i}

.

\mathrm {H} _{\infty }<\mathrm {H} _{2}

, тому що

\log \sum \limits _{i=1}^{n}{p_{i}^{2}}<\log \sup _{i}p_{i}\left({\sum \limits _{i=1}^{n}{p_{i}}}\right)=\log \sup _{i}p_{i}

.

\mathrm {H} _{1}\geq \mathrm {H} _{2}

відповідно до нерівності Єнсена

\sum \limits _{i=1}^{n}{p_{i}\log p_{i}}\leq \log \sum \limits _{i=1}^{n}{p_{i}^{2}}

.

Розходження (дивергенції) Реньї

Крім сімейства ентропій, Реньї також визначив спектр мір розходжень (дивергенцій), які узагальнюють розходження Кульбака — Лейблера. Формули цього розділу записано в загальному вигляді — через логарифм за довільною основою. Тому потрібно розуміти, що кожна наведена формула являє собою сімейство еквівалентних функціоналів, визначених з точністю до сталого (додатного) множника.

Розходження Реньї з параметром $\alpha$ , де $\alpha >0$ і $\alpha \neq 1$ , розподілу $Q$ відносно розподілу $P$ (або «відстань від $P$ до $Q$ ») визначається як

D_{\alpha }(P\|Q)={\frac {1}{\alpha -1}}\log \sum _{i=1}^{n}p_{i}^{\alpha }q_{i}^{1-\alpha }={\frac {1}{\alpha -1}}\log {\Big \langle }(p/q)^{\alpha -1}::P{\Big \rangle }

або (формально, без урахування нормування ймовірностей)

D_{\alpha }(P\|Q)=-\mathrm {H} _{\alpha }{\Bigg (}{\frac {p}{q^{1-1/\alpha }}}{\Bigg )}

,

\mathrm {H} _{\alpha }(P)=-\left.D_{\alpha }(P\|Q)\right|_{q=1}

.

Як і розходження Кульбака — Лейблера, розходження Реньї є невід'ємним для $\alpha >0$ .

Деякі окремі випадки

При $\alpha =0$ дивергенція Реньї не визначена, однак сімейство дивергенцій можна довизначити елементом

D_{0}(P\|Q){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to 0}D_{\alpha }(P\|Q)=-\log \sum _{i=1}^{n}q_{i}\operatorname {sgn} p_{i}

: мінус логарифм від суми ймовірностей

q

, таких що відповідні

p>0

.

$D_{1/2}(P\|Q)=-2\log \sum _{i=1}^{n}{\sqrt {p_{i}q_{i}}}$ : відстань Бгаттачар'я (мінус логарифм від коефіцієнта Бгаттачар'я, несуттєвим множником $2$ нехтуємо). Це розходження, з точністю до монотонного перетворення, еквівалентне відстані Геллінгера та сферичній відстані Бгаттачар'я — Рао, проте на відміну від них не задовольняє нерівності трикутника, а тому не є метрикою в просторі розподілів.

$D_{1}(P\|Q){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to 1}D_{\alpha }(P\|Q)=D_{KL}(P\|Q)=\sum _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}={\Big \langle }\log {\frac {p}{q}}::P{\Big \rangle }$ : розходження Кульбака — Лейблера (дорівнює математичному сподіванню відносно розподілу $P$ логарифма відношення ймовірностей $p/q$ ).

$D_{2}(P\|Q)=\log \sum _{i=1}^{n}{\frac {p_{i}^{2}}{q_{i}}}=\log {\Big \langle }{\frac {p}{q}}::P{\Big \rangle }$ : логарифм математичного сподівання за розподілом $P$ відношення ймовірностей $p/q$ . Це розходження з точністю до монотонного перетворення еквівалентне розходженню хі-квадрат $D_{\chi ^{2}}(Q\|P)=\sum _{i=1}^{n}{\frac {(p_{i}-q_{i})^{2}}{q_{i}}}$ .

$D_{\infty }(P\|Q){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to \infty }D_{\alpha }(P\|Q)=\log \sup _{i}{\frac {p_{i}}{q_{i}}}$ : Логарифм найбільшого відношення ймовірностей $p/q$ .

Чому випадок $\alpha =1$ — особливий^{[уточнити]}

Значення $\alpha =1$ , яке відповідає ентропії Шеннона і розходженню Кульбака — Лейблера, є особливим, тому що тільки в цьому випадку можна виділити змінні A і X зі спільного розподілу ймовірностей, такі що виконується

\mathrm {H} (A,X)=\mathrm {H} (A)+\mathbb {E} _{p(a)}\{\mathrm {H} (X|a)\}

для ентропії, і

D_{\mathrm {KL} }(p(x|a)p(a)||m(x,a))=\mathbb {E} _{p(a)}\{D_{\mathrm {KL} }(p(x|a)||m(x|a))\}+D_{\mathrm {KL} }(p(a)||m(a))

-

для дивергенції.

Останнє означає, що якщо ми шукатимемо розподіл $p(x,a)$ , який зводить до мінімуму розходження деяких основоположних мір $m(x,a)$ , і отримаємо нову інформацію, яка впливає тільки на розподіл $a$ , то розподіл $p(x|a)$ не буде залежати від змін $m(x|a)$ .

У загальному випадку розходження Реньї з довільними значеннями $\alpha$ задовольняють умовам незаперечності, неперервності та інваріантності відносно перетворення координат випадкових величин. Важливою властивістю будь-яких ентропії і дивергенції Реньї є адитивність: коли $A$ і $X$ незалежні, з $p(A,X)=p(A)p(X)$ випливає

\mathrm {H} _{\alpha }(A,X)=\mathrm {H} _{\alpha }(A)+\mathrm {H} _{\alpha }(X)

і

D_{\alpha }(P(A)P(X)\|Q(A)Q(X))=D_{\alpha }(P(A)\|Q(A))+D_{\alpha }(P(X)\|Q(X))

.

Найсильніші властивості випадку $\alpha =1$ , які передбачають визначення умовної інформації і взаємної інформації з теорії зв'язку, можуть бути дуже важливими в інших застосуваннях або зовсім не важливими, залежно від вимог цих застосувань.

Перехресна ентропія Реньї

Перехресна ентропія $\mathrm {H} _{\alpha }(P,Q)$ від двох розподілів з імовірностями $p_{i}$ і $q_{i}$ ( $i=1,...,n$ ) в загальному випадку може визначатися по-різному (залежно від застосування), але має задовольняти умові $\mathrm {H} _{\alpha }(P,P)=\mathrm {H} _{\alpha }(P)$ . Один з варіантів визначення (аналогічну властивість має перехресна ентропія Шеннона):

\mathrm {H} _{\alpha }(P,Q)=\mathrm {H} _{\alpha }(P)+D_{\alpha }(P,Q)

.

Інше визначення, запропоноване А. Реньї, можна отримати з таких міркувань. Визначимо ефективне число станів системи як середнє геометричне зважене від величин $1/q_{i}$ з вагами $p_{i}$ :

{\overline {n}}=\prod _{i=1}^{n}(1/q_{i})^{p_{i}}

.

Звідси випливає вираз для перехресної ентропії Шеннона

\mathrm {H} (P,Q)=\log {\overline {n}}=-\sum _{i=1}^{n}p_{i}\log q_{i}

.

Міркуючи аналогічно, визначимо ефективне число станів системи як середнє степеневе зважене від величин $1/q_{i}$ з вагами $p_{i}$ і параметром $1-\alpha$ :

{\overline {n}}=\left(\sum _{i=1}^{n}p_{i}(1/q_{i})^{1-\alpha }\right)^{\frac {1}{1-\alpha }}=\left(\sum _{i=1}^{n}p_{i}q_{i}^{\alpha -1}\right)^{\frac {1}{1-\alpha }}

.

Таким чином, перехресна ентропія Реньї має вигляд

\mathrm {H} _{\alpha }(P,Q)=\log {\overline {n}}={\frac {1}{1-\alpha }}\log \sum _{i=1}^{n}p_{i}q_{i}^{\alpha -1}={\frac {1}{1-\alpha }}\log {\Big \langle }q^{\alpha -1}::P{\Big \rangle }

.

Легко бачити, що в разі, якщо розподіли ймовірностей $p$ і $q$ збігаються, перехресна ентропія Реньї збігається з ентропією Реньї.
Також при $\alpha \to 1$ перехресна ентропія Реньї збігається до перехресної ентропії Шеннона.
властивість $\mathrm {H} (P,Q)=\mathrm {H} (P)+D_{KL}(P\|Q)\geq \mathrm {H} (P)$ , істинна для перехресної ентропії Шеннона, в загальному випадку не має місця. Перехресна ентропія Реньї може бути як більшою, так і меншою від ентропії Реньї.

Неперервний випадок

Для формального узагальнення ентропії Шеннона на випадок неперервного розподілу служить поняття диференціальна ентропія. Цілком аналогічно визначається диференційна ентропія Реньї:

\mathrm {H} _{\alpha }(f)={\frac {1}{1-\alpha }}\log \int \limits _{X}^{}{f^{\alpha }(x)}dx

.

Розходження (дивергенція) Реньї в неперервному випадку також є узагальненням розходження Кульбака — Лейблера і має вигляд

D_{\alpha }(g,f)={\frac {1}{\alpha -1}}\log \int \limits _{X}^{}{g^{\alpha }(x)f^{1-\alpha }(x)}dx

.

Визначення перехресної ентропії, запропоноване А. Реньї, в неперервному випадку має вигляд

\mathrm {H} _{\alpha }(g,f)={\frac {1}{1-\alpha }}\log \int \limits _{X}^{}{g(x)f^{\alpha -1}(x)}dx

.

У наведених формулах $f(x)$ і $g(x)$ — деякі функції густини розподілу ймовірностей, визначені на інтервалі $X\subseteq R$ , і покладається $\alpha >0$ , $\alpha \neq 1$ .

Література

Proceedings of the 4th Berkeley Symposium on Mathematics, Statistics and Probability 1960. 1961. с. 547–561.
A. O. Hero, O.Michael and J. Gorman. Alpha-divergences for Classification, Indexing and Retrieval. — 2002. — 23 January.
F. Nielsen and S. Boltz. The Burbea-Rao and Bhattacharyya centroids. — 2010. — 23 January.
OA Rosso EEG analysis using wavelet-based information tools. Journal of Neuroscience Methods 153 (2006) 163—182
Rényi entropy as a measure of entanglement in quantum spin chain: F. Franchini, AR Its, VE Korepin, Journal of Physics A: Math. Theor. 41 (2008) 025302

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.

Ентропія Реньї

Ηα для деяких конкретних значень α

Деякі окремі випадки

Нерівності для різних значень α

Розходження (дивергенції) Реньї

Деякі окремі випадки

Чому випадок α = 1 {\displaystyle \alpha =1} — особливий[уточнити]

Перехресна ентропія Реньї

Неперервний випадок

Література

Η_α для деяких конкретних значень α

Чому випадок $\alpha =1$ — особливий^{[уточнити]}