Ентропія Цалліса

Нехай ${\displaystyle P}$ — розподіл імовірностей і ${\displaystyle \mu }$ — будь-яка міра на ${\displaystyle X}$, для якої існує абсолютно неперервна відносно ${\displaystyle \mu }$ функція ${\displaystyle p={\frac {dP}{d\mu }}}$. Тоді ентропія Цалліса визначається як

${\displaystyle S_{q}(P)={k \over q-1}\left(1-\int \limits _{X}^{}{p^{q}}d\mu \right).}$

Зокрема, для дискретної системи, що перебуває в одному з ${\displaystyle N}$ доступних станів з розподілом імовірностей ${\displaystyle P=\{p_{i}\,|\,i=1,2,...,N\}}$ ,

${\displaystyle S_{q}(P)={k \over q-1}\left(1-\sum _{i=1}^{N}p_{i}^{q}\right)}$ .

У разі міри Лебега ${\displaystyle \mu =x}$, тобто коли ${\displaystyle P}$ — неперервний розподіл з густиною ${\displaystyle p(x)}$, заданою на множині ${\displaystyle X}$,

${\displaystyle S_{q}(P)={k \over q-1}\left(1-\int \limits _{X}^{}{p^{q}(x)}dx\right)}$ .

У цих формулах ${\displaystyle k}$ — деяка додатна константа, яка визначає одиницю вимірювання ентропії й у фізичних формулах служить для зв'язки розмірностей, як, наприклад, стала Больцмана. З точки зору задачі оптимізації ентропії ця константа є несуттєвою, тому для спрощення часто вважають ${\displaystyle k=1}$.

Параметр ${\displaystyle q}$ — безрозмірна величина (${\displaystyle q\in R}$), яка характеризує ступінь неекстенсивності (неадитивності) даної системи. У границі при ${\displaystyle q\to 1}$, ентропія Цалліса збігається до ентропії Больцмана — Гіббса. При ${\displaystyle q>0}$ ентропія Цалліса є увігнутим функціоналом від розподілу ймовірностей і, як звичайна ентропія, досягає максимуму за рівномірного розподілу. При ${\displaystyle q<0}$ функціонал є опуклим і за рівномірного розподілу досягає мінімуму. Тому для пошуку рівноважного стану ізольованої системи при ${\displaystyle q>0}$ ентропію Цалліса потрібно максимізувати, а при ${\displaystyle q<0}$ — мінімізувати[2]. Значення параметра ${\displaystyle q=0}$ — це вироджений випадок ентропії Цалліса, коли вона не залежить від ${\displaystyle P}$, а залежить лише від ${\displaystyle \mu (X)}$, тобто від розміру системи (від ${\displaystyle N}$ у дискретному випадку).

У безперервному випадку іноді вимагають, щоб носій випадкової величини ${\displaystyle X}$ був безрозмірним[3]. Це забезпечує коректність функціоналу ентропії з точки зору розмірності.

Історично першими вираз для ентропії Цалліса (точніше, для часткового її випадку при ${\displaystyle k={q-1 \over 1-2^{1-q}}}$) отримали Дж. Хаврда і Ф. Чарват (J. Havrda і F. Charvát)[4] 1967 року. Разом з тим, при ${\displaystyle q>0}$ ентропія Цалліса є частковим випадком f-ентропіі[5] (при ${\displaystyle q<0}$ f-ентропією є величина, протилежна ентропії Цалліса).

Нехай є дві незалежні системи ${\displaystyle A}$ і ${\displaystyle B}$, тобто такі системи, що в дискретному випадку спільна ймовірність появи двох будь-яких станів ${\displaystyle a\in A}$ і ${\displaystyle b\in B}$ в цих системах дорівнює добутку відповідних імовірностей:

${\displaystyle \operatorname {Prob} (a,b)=\operatorname {Prob} (a)\operatorname {Prob} (b)}$,

а в неперервному — спільна густина розподілу ймовірностей дорівнює добутку відповідних густин:

${\displaystyle p_{AB}(x,y)=p_{A}(x)p_{B}(y)}$ ,

де ${\displaystyle x\in X}$, ${\displaystyle y\in Y}$ — області значень випадкової величини в системах ${\displaystyle A}$ і ${\displaystyle B}$ відповідно.

На відміну від ентропії Больцмана — Гіббса і ентропії Реньї, ентропія Цалліса, загалом, не володіє адитивністю, і для сукупності систем виконується[7]

${\displaystyle S_{q}(AB)=S_{q}(A)+S_{q}(B)+{1-q \over k}S_{q}(A)S_{q}(B)}$ .

Оскільки умова адитивності для ентропії має вигляд

${\displaystyle S(AB)=S(A)+S(B)}$ ,

відхилення параметра ${\displaystyle q}$ від ${\displaystyle 1}$ характеризує неекстенсивність (неадитивність) системи. Ентропія Цалліса є екстенсивною тільки при ${\displaystyle q=1}$.

Поряд з ентропією Цалліса, розглядають також сімейство несиметричних мір розбіжності (дивергенції) Цалліса між розподілами ймовірностей зі спільним носієм. Для двох дискретних розподілів з імовірністю ${\displaystyle A=\{a_{i}\}}$ і ${\displaystyle B=\{b_{i}\}}$, ${\displaystyle i=1,2,...,N}$, дивергенція Цалліса визначається як[8]

${\displaystyle D_{q}(A,B)={k \over q-1}\left(\sum _{i=1}^{N}a_{i}^{q}b_{i}^{1-q}-1\right)}$ .

У неперервному випадку, якщо розподіли ${\displaystyle A}$ і ${\displaystyle B}$ задані густинами ${\displaystyle a(x)}$ і ${\displaystyle b(x)}$ відповідно, де ${\displaystyle x\in X}$ ,

${\displaystyle D_{q}(A,B)={k \over q-1}\left(\int \limits _{X}^{}{a^{q}(x)b^{1-q}(x)}dx-1\right)}$ .

На відміну від ентропії Цалліса, дивергенція Цалліса визначена при ${\displaystyle q>0}$. Несуттєва додатна константа ${\displaystyle k}$ в цих формулах, як і для ентропії, задає одиницю виміру дивергенції і часто опускається (покладається рівною ${\displaystyle 1}$). Дивергенція Цалліса є окремим випадком α-дивергенції[9] (з точністю до несуттєвої константи) і, як α-дивергенція, є опуклою за обома аргументами за всіх ${\displaystyle q>0}$. Дивергенція Цалліса також є окремим випадком f-дивергенції .

Дивергенці. Цалліса можна отримати з формули для дивергенції Кульбака — Лейблера підстановкою в неї q-деформованого логарифма, визначеного вище, замість функції ${\displaystyle \ln x}$. У границі при ${\displaystyle q\to 1}$ дивергенція Цалліса сходиться до дивергенції Кульбака — Лейблера .

Ентропія Реньї та ентропія Цалліса еквівалентні[8] з точністю до монотонного перетворення, що не залежить від розподілу станів системи. Те саме стосується відповідних дивергенцій. Розглянемо, наприклад, ентропію Реньї для системи ${\displaystyle P}$ з дискретним набором станів ${\displaystyle \{p_{i}|i=1,2,...,N\}}$:

${\displaystyle {\widetilde {S}}_{q}(P)={{\widetilde {k}} \over 1-q}\ln \sum _{i=1}^{N}p_{i}^{q}}$, ${\displaystyle q\geq 0}$ .

Дивергенція Реньї для дискретних розподілів з імовірністю ${\displaystyle A=\{a_{i}\}}$ і ${\displaystyle B=\{b_{i}\}}$, ${\displaystyle i=1,2,...,N}$:

${\displaystyle {\widetilde {D}}_{q}(A,B)={{\widetilde {k}} \over q-1}\ln \sum _{i=1}^{N}a_{i}^{q}b_{i}^{1-q}}$, ${\displaystyle q>0}$.

У цих формулах додатна константа ${\displaystyle {\widetilde {k}}}$ має таке саме значення, як і ${\displaystyle k}$ у формалізмі Цалліса.

Легко бачити, що

${\displaystyle S_{q}(P)=T_{2-q}({\widetilde {S}}_{q}(P))}$ ,

${\displaystyle D_{q}(A,B)=T_{q}({\widetilde {D}}_{q}(A,B))}$ ,

де функція

${\displaystyle T_{q}(x)=k{\exp(x(q-1)/{\widetilde {k}})-1 \over q-1}}$

визначена на всій числовій осі і неперервно зростає за ${\displaystyle x}$ (при ${\displaystyle q=1}$ вважаємо ${\displaystyle T_{q}(x)={k \over {\widetilde {k}}}x}$). Наведені співвідношення мають місце і в неперервному випадку.

Попри наявність зв'язку з цим, слід пам'ятати, що функціонали у формалізмі Реньї та Цалліса мають різні властивості:

• ентропія Цалліса, загалом, не адитивна, тоді як ентропія Реньї адитивна при всіх ${\displaystyle q>0}$;
• ентропія і дивергенція Цалліса є увігнутими або опуклими (крім ${\displaystyle q=0}$), тоді як ентропія і дивергенція Реньї, загалом, не мають ні тієї, ні іншої властивості[10].