Умовна ентропія

${\displaystyle \mathrm {H} (Y|X)=0}$ якщо і лише якщо значення ${\displaystyle Y}$ повністю визначається значенням ${\displaystyle X}$.

І навпаки, ${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)}$ якщо і лише якщо ${\displaystyle Y}$ та ${\displaystyle X}$ є незалежними випадковими змінними.

Припустімо, що об'єднана система, яку визначають дві випадкові змінні ${\displaystyle X}$ та ${\displaystyle Y}$, має спільну ентропію ${\displaystyle \mathrm {H} (X,Y)}$, тобто, нам потрібно в середньому ${\displaystyle \mathrm {H} (X,Y)}$ біт інформації, щоби описати її точний стан. Тепер, якщо ми спочатку дізналися значення ${\displaystyle X}$, ми отримали ${\displaystyle \mathrm {H} (X)}$ біт інформації. Щойно ${\displaystyle X}$ стало відомим, нам потрібно лише ${\displaystyle \mathrm {H} (X,Y)-\mathrm {H} (X)}$ біт, щоб описати стан системи в цілому. Ця величина в точності дорівнює ${\displaystyle \mathrm {H} (Y|X)}$, що дає нам ланцюгове правило умовної ентропії:

${\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X,Y)-\mathrm {H} (X).}$[1]^:17

Ланцюгове правило випливає з вищенаведеного означення умовної ентропії:

${\displaystyle {\begin{aligned}\mathrm {H} (Y|X)&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}{p(x,y)\log(p(x))}\\[4pt]&=\mathrm {H} (X,Y)+\sum _{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=\mathrm {H} (X,Y)-\mathrm {H} (X).\end{aligned}}}$

В загальному випадку ланцюгове правило для декількох випадкових змінних стверджує, що

${\displaystyle \mathrm {H} (X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}\mathrm {H} (X_{i}|X_{1},\ldots ,X_{i-1})}$[1]^:22

Воно має вигляд, подібний до ланцюгового правила в теорії ймовірностей, за винятком того, що замість множення використовується додавання.

Правило Баєса для умовної ентропії стверджує, що

${\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X|Y)-\mathrm {H} (X)+\mathrm {H} (Y).}$

Доведення. ${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (X,Y)-\mathrm {H} (X)}$ і ${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (Y,X)-\mathrm {H} (Y)}$. Через симетрію, ${\displaystyle \mathrm {H} (X,Y)=\mathrm {H} (Y,X)}$. Віднімання цих двох рівнянь має наслідком правило Баєса.

Якщо ${\displaystyle Y}$ є умовно незалежною від ${\displaystyle Z}$ за заданої ${\displaystyle X}$, то ми маємо

${\displaystyle \mathrm {H} (Y|X,Z)\,=\,\mathrm {H} (Y|X).}$

Для будь-яких ${\displaystyle X}$ та ${\displaystyle Y}$

${\displaystyle {\begin{aligned}\mathrm {H} (Y|X)&\leq \mathrm {H} (Y)\,\\\mathrm {H} (X,Y)&=\mathrm {H} (X|Y)+\mathrm {H} (Y|X)+\operatorname {I} (X;Y),\qquad \\\mathrm {H} (X,Y)&=\mathrm {H} (X)+\mathrm {H} (Y)-\operatorname {I} (X;Y),\,\\\operatorname {I} (X;Y)&\leq \mathrm {H} (X),\,\end{aligned}}}$

де ${\displaystyle \operatorname {I} (X;Y)}$ є взаємною інформацією ${\displaystyle X}$ та ${\displaystyle Y}$.

Для незалежних ${\displaystyle X}$ та ${\displaystyle Y}$

${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)}$ та ${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X)\,}$

Хоча конкретно-умовна ентропія ${\displaystyle \mathrm {H} (X|Y=y)}$ і може бути або меншою, або більшою за ${\displaystyle \mathrm {H} (X)}$ для заданої випадкової варіати ${\displaystyle y}$ змінної ${\displaystyle Y}$, але ${\displaystyle \mathrm {H} (X|Y)}$ ніколи не може перевищувати ${\displaystyle \mathrm {H} (X)}$.

Наведене вище означення є для дискретних випадкових змінних, але в випадку неперервних випадкових змінних воно чинним не є. Неперервну версію дискретної умовної ентропії називають умовною диференціальною (або неперервною) ентропією (англ. conditional differential (continuous) entropy). Нехай ${\displaystyle X}$ та ${\displaystyle Y}$ є неперервними випадковими змінними з функцією густини спільної ймовірності ${\displaystyle f(x,y)}$. Диференціальну умовну ентропію ${\displaystyle h(X|Y)}$ означують як

${\displaystyle h(X|Y)=-\int _{{\mathcal {X}},{\mathcal {Y}}}f(x,y)\log f(x|y)\,dxdy}$.[1]^:249

На противагу до умовної ентропії дискретних випадкових змінних, умовна диференціальна ентропія може бути від'ємною.

Як і в дискретному випадку, для диференціальної ентропії існує ланцюгове правило:

${\displaystyle h(Y|X)\,=\,h(X,Y)-h(X)}$[1]^:253

Зауважте, проте, що це правило може не виконуватися, якщо залучені диференціальні ентропії не існують, або є нескінченними.

Спільну диференціальну ентропію також використано в означенні взаємної інформації між неперервними випадковими змінними:

${\displaystyle \operatorname {I} (X,Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)}$

${\displaystyle h(X|Y)\leq h(X)}$, з рівністю якщо і лише якщо ${\displaystyle X}$ та ${\displaystyle Y}$ є незалежними.[1]^:253

Умовна диференціальна ентропія дає нижню межу математичного сподівання квадратичної похибки оцінювача. Для будь-якої випадкової змінної ${\displaystyle X}$, спостереження ${\displaystyle Y}$ та оцінювача ${\displaystyle {\widehat {X}}}$ виконується наступне:[1]^:255

$${\displaystyle \mathbb {E} \left[{\bigl (}X-{\widehat {X}}{(Y)}{\bigr )}^{2}\right]\geq {\frac {1}{2\pi e}}e^{2h(X|Y)}}$$

Це стосується принципу невизначеності в квантовій механіці.