Метод максимальної правдоподібності
Метод максимальної правдоподібності (також метод найбільшої вірогідності) у математичній статистиці — це метод оцінювання невідомого параметра шляхом максимізації функції правдоподібності. Він ґрунтується на припущенні про те, що вся інформація про статистичну вибірку міститься у цій функції. Метод максимальної правдоподібності був проаналізований, рекомендований і значно популяризуваний Р. Фішером між 1912 і 1922 роками (хоча раніше він використовувався Гаусом, Лапласом і іншими). Оцінка максимальної правдоподібності є популярним статистичним методом, який використовується для створення статистичної моделі на основі даних, і забезпечення оцінки параметрів моделі.
Метод максимальної правдоподібності відповідає багатьом відомим методам оцінки в області статистики. Наприклад, припустимо, що ви зацікавлені зростом мешканців України. Припустимо, у вас дані стосовно зросту деякої кількості людей, а не всього населення. Крім того передбачається, що зріст є нормально розподіленою величиною з невідомою дисперсією і середнім значенням. Вибіркові середнє значення і дисперсія зросту є максимально правдоподібними до середнього значення і дисперсії всього населення.
Для фіксованого набору даних і базової імовірнісної моделі, використовуючи метод максимальної правдоподібності, ми набудемо значень параметрів моделі, які роблять дані «ближчими» до реальних. Оцінка максимальної правдоподібності дає унікальний і простий спосіб визначити рішення у разі нормального розподілу.
Застосування
Метод оцінки максимальної правдоподібності застосовується для широкого кола статистичних моделей, зокрема:
- лінійні моделі і узагальнені лінійні моделі;
- факторний аналіз;
- моделювання структурних рівнянь;
- багато ситуацій, в рамках перевірки гіпотези і формування довірчого інтервалу;
- дискретні моделі вибору.
Метод застосовується в широких областях науки, зокрема:
- системи зв'язку;
- психометрія;
- економетрика;
- оцінювання кутових координат джерел сигналів, їх частоти і часу затримки в акустичних і електромагнітних системах[1][2];
- моделювання в ядерній фізиці і фізиці елементарних частинок;
- обчислювальна філогенетика;
- моделювання каналів в транспортних мережах.
Визначення
Нехай маємо вибірку з розподілу , де — невідомий параметр. Нехай — функція правдоподібності, де . Точкова оцінка
називається оцінкою максимальної правдоподібності параметра . Таким чином, оцінка максимальної правдоподібності — це така оцінка, яка максимізує функцію правдоподібності при фіксованій реалізації вибірки.
Зауваження
- Оскільки функція монотонно зростає на всій області визначення, максимум будь-якої функції є максимумом функції , і навпаки. Таким чином,
- ,
де — логарифмічна функція правдоподібності.
- Оцінка максимальної правдоподібності, загалом, може бути зміщеною (див. приклади).
Приклади
- Нехай — незалежна вибірка з неперервного рівномірного розподілу на відрізку , де — невідомий параметр. Тоді функція правдоподібності має вигляд
Остання рівність може бути переписана у вигляді:
де , звідки видно, що свого максимуму функція правдоподібності досягає в точці . Таким чином
- .
- Нехай — незалежна вибірка з нормального розподілу з відомим середнім і дисперсією. Побудуємо оцінку максимальної правдоподібності для невідомого вектора параметрів . Логарифмічна функція правдоподібності приймає вигляд
- .
Щоб знайти її максимум, прирівнюємо до нуля часткові похідні:
звідки
- — вибіркове середнє, а
- — вибіркова дисперсія.
Примітки
- Слюсар В.И. Синтез алгоритмов измерения дальности М источников при дополнительном стробировании отсчетов АЦП.// Известия высших учебных заведений. Радиоэлектроника.- 1996. - Том 39, № 5. - C. 55 - 62.
- Слюсар В.И. Предельное разрешение дальномерных процедур максимального правдоподобия.// Известия высших учебных заведений. Радиоэлектроника.- 1998. - Том 41, № 11. - C. 39 - 45.
Джерела
- Руденко В. М. (2012). Математична статистика. Київ: Центр учбової літератури. с. 158. ISBN 978-611-01-0277-3.
- Карташов М. В. (2008). Імовірність, процеси, статистика. Київ: ВПЦ Київський університет. с. 378. Архів оригіналу за 1 лютого 2014. Процитовано 3 січня 2015.
- Capinski, Marek; Kopp, Peter E. (2004). Measure, Integral and Probability. Springer Verlag. ISBN 9781852337810.
- Williams D. (1991). Probability with Martingales. Cambridge University Press. ISBN 0-521-40605-6.
- Варюхин В. А., Покровский В. И., Сахно В. Ф. Модифицированная функция правдоподобия в задаче определения угловых координат источников с помощью антенной решетки, Докл. АН СССР, 1983, том 270, номер 5, С. 1092—1094.