Відособлена правдоподібність
У статистиці фу́нкція відосо́бленої правдоподі́бності (англ. marginal likelihood function) або інтегро́вана правдоподі́бність (англ. integrated likelihood) — це функція правдоподібності, в якій деякі змінні параметри було знеособлено. В контексті баєсової статистики вона також може згадуватися як сві́дчення (англ. evidence), або сві́дчення моде́лі (англ. model evidence).
При заданій множині незалежних однаково розподілених точок даних де відповідно до певного розподілу ймовірностей, параметризованого за θ, де θ саме по собі є випадковою змінною, описаною розподілом, тобто відособлена правдоподібність у загальному випадку ставить питання, якою є ймовірність де θ було знеособлено (проінтегровано):
Наведене вище визначення сформульовано в контексті баєсової статистики. В класичній (частотницькій) статистиці поняття відособленої правдоподібності натомість з'являється в контексті спільного параметра θ=(ψ,λ), де ψ є справжнім параметром, що становить інтерес, а λ є нецікавим завадним параметром. Якщо існує розподіл імовірності для λ, часто бажано розглядати функцію правдоподібності лише в термінах ψ, знеособлюючи λ:
На жаль, відособлені правдоподібності, як правило, важко обчислювати. Точні розв'язки відомі для невеликого класу розподілів, зокрема коли знеособлюваний параметр є спряженим апріорним розподілу даних. В інших випадках потрібен якийсь метод чисельного інтегрування, або загальний метод, такий як гаусове інтегрування або метод Монте-Карло, або якийсь спеціалізований метод для статистичних задач, такий як наближення Лапласа, вибірка за Ґіббсом або алгоритм очікування-максимізації.
Також можливо застосовувати наведені вище міркування до єдиної випадкової змінної (точки даних) x, а не до набору спостережень. У баєсовому контексті це еквівалентно апріорному передбачуваному розподілові точки даних.
Застосування
Баєсове порівняння моделей
В баєсовому порівнянні моделей знеособлювані змінні є параметрами певного типу моделі, а решта змінних є особистістю самої моделі. В цьому випадку знеособлена правдоподібність є ймовірністю даних при заданому типі моделі, без розгляду будь-яких конкретних параметрів моделі. При позначенні параметрів моделі через θ, відособленою правдоподібністю для моделі M є
Саме в цьому контексті зазвичай застосовується термін свідчення моделі. Ця величина є важливою, оскільки відношення апостеріорних шансів моделі M1 до іншої моделі M2 включає відношення відособлених правдоподібностей, так званий коефіцієнт Баєса:
що може бути схематично сформульовано як
- апостеріорні шанси = апріорні шанси × коефіцієнт Баєса
Див. також
- Емпіричні баєсові методи
- Відособлена ймовірність
- Парадокс Ліндлі
Джерела
- Charles S. Bos. "A comparison of marginal likelihood computation methods". In W. Härdle and B. Ronz, editors, COMPSTAT 2002: Proceedings in Computational Statistics, pp. 111–117. 2002. (Available as a preprint on the web: ) (англ.)
- The on-line textbook: Information Theory, Inference, and Learning Algorithms, by David J.C. MacKay. (англ.)