Середнє степеневе зважене

Середнє степеневе зважене — різновид середнього значення. Для набору додатних дійсних чисел з параметром і невід'ємними вагами визначається як

.

Якщо ваги нормовані до одиниці (тобто їх сума дорівнює одиниці), то вираз для середнього степеневого зваженого набуває вигляду

.

Властивості

Зв'язок з ентропією Реньї

Інформаційну ентропію деякої системи можна визначити як логарифм числа доступних станів системи (або їх ефективної кількості, якщо стани не рівноймовірні). Врахуємо, що ймовірності перебування системи в стані з номером () нормовані до . Якщо стани системи рівноймовірні і мають імовірність , то . У разі різних імовірностей станів визначимо ефективну кількість станів як середнє степеневе зважене величин з вагами і параметром (де ):

.

Звідси отримуємо вираз для ентропії

,

збігається з виразом для ентропії Реньї[1]. Легко бачити, що в границі при (або ) ентропія Реньї збігається до ентропії Шеннона (при тому, що середнє степеневе зважене — до середнього геометричного зваженого). За визначенням ентропії Реньї має виконуватися додаткове обмеження (або ).

Примітки

  1. Зарипов, 2005, с. 108—125.

Література

  • Зарипов Р. Г. Новые меры и методы в теории информации. — Казань : Изд-во Казан. гос. техн. ун-та, 2005. — 364 с.
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.