Перехресна ентропія

Перехресна ентропія двох розподілів ${\displaystyle p}$ і ${\displaystyle q}$ на тому самому ймовірнісному просторі визначається наступним чином:

${\displaystyle \mathrm {H} (p,q)=\mathrm {E} _{p}[-\log q]}$.

Вираз можна переформулювати за допомогою ${\displaystyle D_{\mathrm {KL} }(p||q)}$ — дивергенції Кульбака — Лейблера від ${\displaystyle q}$ до ${\displaystyle p}$ (також відома як відносна ентропія ${\displaystyle p}$ відносно ${\displaystyle q}$)

${\displaystyle \mathrm {H} (p,q)=\mathrm {H} (p)+D_{\mathrm {KL} }(p\|q)\!}$,

де ${\displaystyle H(p)}$ — ентропія ${\displaystyle p}$.

Для дискретного випадку ${\displaystyle p}$ і ${\displaystyle q}$ над одним і тим же носієм ${\displaystyle {\mathcal {X}}}$ це значить, що

Для неперервного розподілу аналогічна ситуація. Ми припускаємо, що ${\displaystyle p}$ та ${\displaystyle q}$ абсолютно неперервні відносно деякої міри ${\displaystyle r}$ (зазвичай ${\displaystyle r}$ є мірою Лебега на борелевій σ-алгебрі). Нехай ${\displaystyle P}$ та ${\displaystyle Q}$ будуть функціями густини ймовірностей ${\displaystyle p}$ та ${\displaystyle q}$ відносно ${\displaystyle r}$. Тоді

NB: Запис ${\displaystyle \mathrm {H} (p,q)}$ іноді використовується як для перехресної ентропії, так і для спільної ентропії ${\displaystyle p}$ і ${\displaystyle q}$.

Мінімізація перехресної ентропії часто використовується під час оптимізації та для оцінки імовірностей рідкісних випадків.

У контексті машинного навчання перехресна ентропія є мірою помилки для задачі багатокласової класифікації. Зазвичай «істинний» розподіл (той, якому намагається відповідати алгоритм машинного навчання) виражається в термінах унітарного кодування (англ. one-hot).

Наприклад, припустимо, що для конкретного навчального екземпляра справжньою міткою є B з можливих міток A, B і C. Таким чином, унітарний розподіл для цього навчального екземпляра буде:

Ми можемо інтерпретувати наведений вище істинний розподіл так, що навчальний екземпляр має 0% ймовірності бути класом A, 100% ймовірності бути класом B і 0% ймовірністю бути класом C.

Тепер припустимо, що алгоритм машинного навчання прогнозує такий розподіл ймовірностей:

Наскільки близький прогнозований розподіл до справжнього? Саме це визначає перехресна ентропія, якщо її обрано як функцію втрати. Застосуємо формулу (Рів. 1):

${\displaystyle H(p,q)=-(0.0*\ln(0.1)+1.0*\ln(0.7)+0.0*\ln(0.2))=-\ln(0.7)\approx 0.36}$

• Метод перехресної ентропії
• Інформаційна ентропія
• Умовна ентропія
• Метод максимальної правдоподібності
• Взаємна інформація