Середнє степеневе зважене

• У тому випадку, коли всі ваги ${\displaystyle w_{i}}$ рівні між собою, середнє степеневе зважене дорівнює середньому степеневому.
• Середнє арифметичне зважене і середнє гармонійне зважене є окремими випадками середнього степеневого зваженого при відповідно ${\displaystyle q=1}$ і ${\displaystyle q=-1}$.
• У границі при ${\displaystyle q\to 0}$ середнє степеневе зважене збігається до середнього геометричного зваженого.

Інформаційну ентропію деякої системи можна визначити як логарифм числа доступних станів системи (або їх ефективної кількості, якщо стани не рівноймовірні). Врахуємо, що ймовірності ${\displaystyle p_{i}}$ перебування системи в стані з номером ${\displaystyle i}$ (${\displaystyle i=1,\ldots ,N}$) нормовані до ${\displaystyle 1}$. Якщо стани системи рівноймовірні і мають імовірність ${\displaystyle p}$, то ${\displaystyle N=1/p}$. У разі різних імовірностей станів ${\displaystyle p_{i}}$ визначимо ефективну кількість станів ${\displaystyle {\overline {N}}}$ як середнє степеневе зважене величин ${\displaystyle x_{i}=1/p_{i}}$ з вагами ${\displaystyle p_{i}}$ і параметром ${\displaystyle q=1-\alpha }$ (де ${\displaystyle \alpha \neq 1}$):

${\displaystyle {\overline {N}}=\left(\sum _{i=1}^{N}p_{i}x_{i}^{q}\right)^{1/q}=\left(\sum _{i=1}^{N}p_{i}(1/p_{i})^{1-\alpha }\right)^{\frac {1}{1-\alpha }}=\left(\sum _{i=1}^{N}p_{i}^{\alpha }\right)^{\frac {1}{1-\alpha }}}$.

Звідси отримуємо вираз для ентропії

${\displaystyle H=\log {\overline {N}}=\log \left(\sum _{i=1}^{N}p_{i}^{\alpha }\right)^{\frac {1}{1-\alpha }}={\frac {1}{1-\alpha }}\log \sum _{i=1}^{N}p_{i}^{\alpha }}$,

збігається з виразом для ентропії Реньї[1]. Легко бачити, що в границі при ${\displaystyle \alpha \to 1}$ (або ${\displaystyle q\to 0}$) ентропія Реньї збігається до ентропії Шеннона (при тому, що середнє степеневе зважене — до середнього геометричного зваженого). За визначенням ентропії Реньї має виконуватися додаткове обмеження ${\displaystyle \alpha \geq 0}$ (або ${\displaystyle q\leq 1}$).

• Зарипов Р. Г. Новые меры и методы в теории информации. — Казань : Изд-во Казан. гос. техн. ун-та, 2005. — 364 с.