Баєсів інформаційний критерій

БІК формально визначається як[2]

${\displaystyle \mathrm {BIC} ={\ln(n)k-2\ln({\hat {L}})}.\ }$

де

• ${\displaystyle {\hat {L}}}$ = максимізоване значення функції правдоподібності моделі ${\displaystyle M}$, тобто, ${\displaystyle {\hat {L}}=p(x|{\hat {\theta }},M)}$, де ${\displaystyle {\hat {\theta }}}$ є значеннями параметрів, які максимізують функцію правдоподібності;
• ${\displaystyle x}$ = спостережувані дані;
• ${\displaystyle n}$ = число точок даних в ${\displaystyle x}$, число спостережень, або, рівнозначно, розмір вибірки;
• ${\displaystyle k}$ = число вільних параметрів, які належить оцінити. Якщо модель, що розглядають, є лінійною регресією, то ${\displaystyle k}$ є числом регресорів, включно з відтином;

БІК є асимптотичним результатом, виведеним за припущення, що розподіл даних належить до експоненційного сімейства. Тобто, інтеграл функції правдоподібності ${\displaystyle p(x|\theta ,M)}$, помножений на апріорний розподіл ймовірності ${\displaystyle p(\theta |M)}$ над параметрами ${\displaystyle \theta }$ моделі ${\displaystyle M}$, для незмінних спостережених даних ${\displaystyle x}$ наближується як

${\displaystyle {-2\cdot \ln {p(x|M)}}\approx \mathrm {BIC} ={-2\cdot \ln {\hat {L}}+k\cdot (\ln(n)-\ln(2\pi ))}.\ }$

Для великих ${\displaystyle n}$ це може бути наближено наведеною вище формулою. БІК використовують в задачах обирання моделі, що в них додавання сталої до БІК не змінює результату.

• Він не залежить від апріорного, або апріорне є «невизначеним» (сталою).
• Він може вимірювати ефективність параметризованої моделі в термінах передбачування даних.
• Він штрафує складність моделі, де складність позначає кількість параметрів моделі.
• Він наближено дорівнює критерієві мінімальної довжини опису, але з протилежним знаком.
• Його можна застосовувати для обирання числа кластерів відповідно до внутрішньої складності, присутньої в певному наборі даних.
• Він тісно пов'язаний з іншими критеріями штрафованої правдоподібності, такими як RIC^{[прояснити: ком.]} та інформаційний критерій Акаіке.

Критерій БІК страждає на два головні обмеження[3]

1. наведене вище наближення чинне лише для розміру вибірки ${\displaystyle n}$, який є набагато більшим за число параметрів моделі ${\displaystyle k}$.
2. БІК не може обробляти складні зібрання моделей, як у задачі обирання змінних (або обирання ознак) за високої розмірності.[3]

За припущення, що похибки або збурення моделі є незалежними та однаково розподіленими згідно нормального розподілу, і граничної умови, що похідна логарифмічної правдоподібності по відношенню до істинної дисперсії є нульовою, це перетворюється (з точністю до адитивної сталої, яка залежить від n, але не від моделі) на[4]

${\displaystyle \mathrm {BIC} =n\cdot \ln({\widehat {\sigma _{e}^{2}}})+k\cdot \ln(n)\ }$

де ${\displaystyle {\widehat {\sigma _{e}^{2}}}}$ є дисперсією похибки. Дисперсію похибки в цьому випадку визначають як

${\displaystyle {\widehat {\sigma _{e}^{2}}}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\hat {x_{i}}})^{2}}$

що є зсунутою оцінкою істинної дисперсії.

В термінах залишкової суми квадратів БІК є

${\displaystyle \mathrm {BIC} =n\cdot \ln(RSS/n)+k\cdot \ln(n)\ }$

При перевірці декількох лінійних моделей відносно насиченої моделі БІК може бути переписано в термінах девіантності ${\displaystyle \chi ^{2}}$ як[5]

${\displaystyle \mathrm {BIC} =\chi ^{2}+k\cdot \ln(n)}$

де ${\displaystyle k}$ є числом параметрів моделі в перевірці.

При обиранні з декількох моделей найприйнятнішою є модель із найнижчим БІК. БІК є зростаючою функцією дисперсії похибки ${\displaystyle \sigma _{e}^{2}}$, і зростаючою функцією k. Тобто, незрозуміла дисперсія в залежній змінній та число описових змінних збільшують значення БІК. Отже, нижчий БІК означає або меншу кількість описових змінних, або кращу допасованість, або обидві. Силу свідчення проти моделі з вищим БІК може бути узагальнено наступним чином:[5]

БІК зазвичай штрафує вільні параметри сильніше за Інформаційний критерій Акаіке, хоча це залежить від розміру n і відносної величини n і k.

Важливо мати на увазі, що БІК можна застосовувати для порівняння оцінюваних моделей лише якщо числові значення залежної змінної є однаковими для всіх порівнюваних оцінок. Порівнюваним моделям не потрібно бути вкладеними, на відміну від випадку, коли моделі порівнюють із застосуванням критерію Фішера або перевірки відношенням правдоподібностей.

• Інформаційний критерій Акаіке
• Баєсове порівняння моделей
• Інформаційний критерій девіантності
• Інформаційний критерій Геннена — Куїнна
• Відстань Єнсена — Шеннона
• Відстань Кульбака — Лейблера
• Мінімальна довжина повідомлення
• Обирання моделі

• Bhat, H. S.; Kumar, N (2010). On the derivation of the Bayesian Information Criterion. Архів оригіналу за 28 березня 2012. (англ.)
• Findley, D. F. (1991). Counterexamples to parsimony and BIC. Annals of the Institute of Statistical Mathematics 43: 505–514. doi:10.1007/BF00053369. (англ.)
• Kass, R. E.; Wasserman, L. (1995). A reference Bayesian test for nested hypotheses and its relationship to the Schwarz criterion. Journal of the American Statistical Association 90: 928–934. (англ.)
• Liddle, A. R. (2007). Information criteria for astrophysical model selection. Monthly Notices of the Royal Astronomical Society 377: L74–L78. (англ.)
• McQuarrie, A. D. R.; Tsai, C.-L. (1998). Regression and Time Series Model Selection. World Scientific. (англ.)

• Information Criteria and Model Selection (англ.)
• Sparse Vector Autoregressive Modeling (англ.)