Достатня статистика

Достатня статистика для параметра що визначає деяке сімейство розподілів ймовірності статистика така, що умовна імовірність вибірки при даному значенні не залежить від параметра Тобто виконується рівність:

Достатня статистика таким чином містить у собі всю інформацію про параметр що може бути одержана на основі вибірки X. Тому поняття достатньої статистики широко використовується в теорії оцінки параметрів.

Найпростішою достатньою статистикою є сама вибірка проте справді важливими є випадки коли величина достатньої статистики значно менша від величини вибірки, зокрема коли достатня статистика виражається лише кількома числами.

Достатня статистика називається мінімальною достатньою, якщо для кожної достатньої статистики T існує невипадкова вимірна функція g, що майже напевно.

Теорема факторизації

Теорема факторизації дає спосіб практичного знаходження достатньої статистики для розподілу ймовірності. Вона дає достатні і необхідні умови достатності статистики і твердження теореми іноді використовується як означення.

Нехай  — деяка статистика, а  — умовна функція щільності чи функція ймовірностей (залежно від виду розподілу) для вектора спостережень X. Тоді є достатньою статистикою для параметра якщо і тільки якщо існують такі вимірні функції h і g, що можна записати:

Доведення

Нижче подано доведення для часткового випадку коли розподіл ймовірностей є дискретним. Тоді  функція ймовірностей. Нехай дана функція має факторизацію, як у твердженні теореми і

Тоді маємо:

Звідси бачимо, що умовна ймовірність вектора X при заданому значенні статистики не залежить від параметра і відповідно  — достатня статистика.

Навпаки можемо записати:

З попереднього маємо, що перший множник правої сторони не залежить від параметра і його можна взяти за функцію h(x) з твердження теореми. Другий множник є функцією від і і його можна взяти за функцію Таким чином одержано необхідний розклад, що завершує доведення теореми.

Приклади

Розподіл Бернуллі

Нехай  — послідовність випадкових величин, що рівні 1 з імовірністю p і рівні 0 з імовірністю 1 - p (тобто мають розподіл Бернуллі). Тоді

якщо взяти

Тоді дана статистика є достатньою згідно з теоремою факторизації, якщо позначити

Розподіл Пуассона

Нехай  — послідовність випадкових величин з розподілом Пуассона. Тоді


де

Дана статистика є достатньою згідно з теоремою факторизації, якщо позначити

Рівномірний розподіл

Нехай  — послідовність рівномірно розподілених випадкових величин . Для цього випадку

Звідси випливає, що статистика є достатньою.

Нормальний розподіл

Для випадкових величин з нормальним розподілом достатньою статистикою буде

Властивості

  • Для достатньої статистики T та бієктивного відображення статистика теж є достатньою.
  • Якщо  — статистична оцінка деякого параметра  — деяка достатня статистика і то є кращою оцінкою параметра в сенсі середньоквадратичного відхилення, тобто виконується нерівність
причому рівність досягається лише коли є вимірною функцією від T. (Теорема Рао — Блеквела)
  • З попереднього одержується, що оцінка може бути оптимальною в сенсі середньоквадратичного відхилення лише коли вона є вимірною функцією мінімальної достатньої статистики.
  • Якщо статистика є достатньою і повною (тобто з того, що випливає, що ), то довільна вимірна функція від неї є оптимальною оцінкою свого математичного сподівання.

Див. також

Джерела

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.