Спільна ентропія

Спільна ентропія Шеннона (в бітах) двох змінних ${\displaystyle X}$ та ${\displaystyle Y}$ визначається як

${\displaystyle H(X,Y)=-\sum _{x}\sum _{y}P(x,y)\log _{2}[P(x,y)]\!}$

де ${\displaystyle x}$ та ${\displaystyle y}$ є конкретними значеннями ${\displaystyle X}$ та ${\displaystyle Y}$ відповідно, ${\displaystyle P(x,y)}$ є спільною ймовірністю трапляння цих значень разом, а ${\displaystyle P(x,y)\log _{2}[P(x,y)]}$ визначається як 0, якщо ${\displaystyle P(x,y)=0}$.

Для понад двох змінних ${\displaystyle X_{1},...,X_{n}}$ це визначення розширюється до

${\displaystyle H(X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]\!}$

де ${\displaystyle x_{1},...,x_{n}}$ є конкретними значеннями ${\displaystyle X_{1},...,X_{n}}$ відповідно, ${\displaystyle P(x_{1},...,x_{n})}$ є ймовірністю трапляння цих значень разом, а ${\displaystyle P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}$ визначається як 0, якщо ${\displaystyle P(x_{1},...,x_{n})=0}$.

Спільна ентропія використовується у визначенні умовної ентропії

${\displaystyle H(X|Y)=H(Y,X)-H(Y)\,}$,

і

${\displaystyle H(X_{1},\dots ,X_{n})=\sum _{k=1}^{N}H(X_{k}|X_{k-1},\dots ,X_{1})}$

Вона також використовується у визначенні взаємної інформації

${\displaystyle I(X;Y)=H(X)+H(Y)-H(X,Y)\,}$

У квантовій теорії інформації спільна ентропія узагальнюється до квантової спільної ентропії.

• Theresa M. Korn; Korn, Granino Arthur. Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review. New York: Dover Publications. с. 613–614. ISBN 0-486-41147-8. (англ.)