Теорема Баєса

Припустимо, що ми хочемо знати ймовірність того, що якась особа має рак, але ми нічого не знаємо про неї. Незважаючи на відсутність жодних відомостей про особу, якусь імовірність може бути призначено на основі загальної поширеності раку. Заради цього прикладу уявімо, що нею є 1%. Це є відомим як базовий рівень, або апріорна ймовірність мати рак. «Апріорна» відповідає часу до того моменту, як нас буде поінформовано про даний конкретний випадок.

Далі, уявімо, що ми з'ясували, що тій особі 65 років. Якщо припустити, що рак та вік є пов'язаними, то цю нову порцію інформації може бути використано для кращої оцінки ризику тієї особи мати рак. Точніше, ми хотіли би знати ймовірність того, що особа має рак, якщо відомо, що їй 65 років. Ця величина є відомою як поточна ймовірність, де «поточна» відповідає теоретичній ситуації після з'ясування інформації про даний конкретний випадок.

Для того, щоби застосувати знання про вік тієї особи в поєднанні з теоремою Баєса, потрібні дві додаткові порції інформації. Зауважте, проте, що ця додаткова інформація не стосується конкретно тієї особи. Потрібна така інформація:

1. Ймовірність мати вік 65 років. Припустімо, що нею є 0.2%.
2. Ймовірність того, що особа, яка має рак, має вік 65 років. Припустімо, що нею є 0.5%. Зауважте, що вона є більшою за попереднє значення. Це відображає той факт, що люди з раком є непропорційно 65-річними.

Знаючи це, разом із базовим рівнем, ми можемо обчислити, що особа, яка має вік 65 років, має ймовірність мати рак, що дорівнює

${\displaystyle (0.5\%*1\%)\div 0.2\%=2.5\%}$

Може стати несподіванкою, що хоча перебування у віці 65 років і збільшує ризик мати рак, ймовірність тієї особи мати рак все одно є досить низькою. Це тому, що низьким є базовий рівень раку (незалежно від віку). Це показує як важливість базового рівня, так і те, що ним зазвичай нехтують.[4] Нехтування базовим рівнем призводить до серйозного спотворення інтерпретації статистики; отже, потрібно приділяти особливу увагу тому, щоби уникати таких помилок. Знайомство з теоремою Баєса є одним із шляхів боротьби з природною схильністю нехтувати базовими рівнями.

Задачі із застосуванням теореми Баєса часто легше зрозуміти, застосовуючи задані в задачі умови до великого набору спостережень. Припустімо, наприклад, що якась спільнота складається зі 100 000 людей. Відповідно до умови задачі, 1% цієї генеральної сукупності, або 1 000 людей, матимуть рак. 0.2% від цієї генеральної сукупності, або 200 людей, матимуть вік 65 років. Із 1 000 людей з раком лише 0.5%, або 5 людей, будуть 65-річними. Таким чином, очікується, що з 200 людей, які мають вік 65 років, лише 5 матимуть рак. 5/200 = 2.5%.

Деревна схема, що ілюструє приклад перевірки на вживання наркотиків. U, Ū, «+» та «-» є подіями, що представляють вживання, не вживання, позитивний результат та негативний результат. Відсотки у дужках обчислюються.

Припустімо, що тест на вживання наркотиків має чутливість 99% та специфічність 99%. Тобто, цей тест даватиме 99% правильних позитивних результатів для тих, хто вживає наркотики, і 99% правильних негативних результатів для тих, хто не вживає. Припустімо, що 0.5% людей вживають наркотики. Якщо для випадково вибраної особи перевірка виявляється позитивною, то якою є ймовірність, що вона вживає наркотики?

${\displaystyle {\begin{aligned}P({\text{вживає}}\mid {\text{+}})&={\frac {P({\text{+}}\mid {\text{вживає}})\times P({\text{вживає}})}{P({\text{+}}\mid {\text{вживає}})\times P({\text{вживає}})+P({\text{+}}\mid {\text{не вживає}})\times P({\text{не вживає}})}}\\[8pt]&={\frac {0.99\times 0.005}{0.99\times 0.005+0.01\times 0.995}}\\[8pt]&\approx 33.2\%\end{aligned}}}$

Незважаючи на видиму точність перевірки, якщо індивідуальні перевірки дають позитивний результат, то ймовірніше, що вони не вживають наркотиків, ніж що вони їх вживають. Це ще раз свідчить про важливість базових рівнів, і як формування політики може бути кричуще помилковим, якщо базовими рівнями нехтують.

Цей несподіваний результат виникає тому, що кількість тих, хто не вживає, є дуже великою у порівнянні з кількістю тих, хто вживає; таким чином, кількість хибних позитивних результатів (0.995%) переважує кількість правильних позитивних результатів (0.495%). На конкретних цифрах, якщо перевірено 1000 осіб, то очікується 995 тих, хто не вживає наркотиків, і 5 тих, хто вживає. Із 995 тих, хто не вживає, очікується 0.01 × 995 ≃ 10 хибних позитивних результатів. Із 5 тих, хто вживає, очікується 0.99 × 5 ≃ 5 правильних позитивних результатів. Із 15 позитивних результатів лише 5, близько 33%, є істинними.

Примітка: Важливість специфічності може бути проілюстровано показуванням, що навіть якщо чутливість є 100%, а специфічність є 99%, то ймовірність того, що особа вживає наркотики, є ≈33%, але якщо специфічність змінюється до 99.5%, а чутливість падає до 99%, то ймовірність того, що особа вживає наркотики, виростає до 49.8%.

Вся продукція заводу виробляється на трьох верстатах. На ці три верстати приходяться 20%, 30% та 50% продукції відповідно. Частка бракованих виробів є такою: 5% для першого верстата, 3% для другого верстата та 1% для третього. Якщо виріб, вибраний навмання із загального обсягу продукції, виявився бракованим, то якою є ймовірність того, що його було зроблено на третьому верстаті?

Розв'язання є таким. Нехай ${\displaystyle A_{i}}$ позначає подію, що випадково вибраний виріб було зроблено на ${\displaystyle i}$-тому верстату (для ${\displaystyle i=1,2,3}$). Нехай ${\displaystyle B}$ позначає подію, що випадково вибраний виріб є бракованим. Тоді ми маємо наступну інформацію:

${\displaystyle P(A_{1})=0.2,P(A_{2})=0.3,P(A_{3})=0.5}$

Якщо виріб було зроблено на верстаті ${\displaystyle A_{1}}$, то ймовірністю його бракованості є 0.05, тобто, ${\displaystyle P(B\mid A_{1})=0.05}$. Загалом ми маємо

${\displaystyle P(B\mid A_{1})=0.05,P(B\mid A_{2})=0.03,P(B\mid A_{3})=0.01}$

Для отримання відповіді на початкове питання ми спочатку знаходимо ${\displaystyle P(B)}$. Це може бути зроблено наступним чином:

${\displaystyle P(B)=\sum _{i=1}^{3}P(B\mid A_{i})P(A_{i})=(0.05)(0.2)+(0.03)(0.3)+(0.01)(0.5)=0.024}$

Отже, 2.4% загального обсягу продукції заводу є бракованими.

Нам задано, що ${\displaystyle B}$ сталося, і ми хочемо обчислити умовну ймовірність ${\displaystyle A_{3}}$. За теоремою Баєса

${\displaystyle P(A_{3}\mid B)={\frac {P(B\mid A_{3})P(A_{3})}{P(B)}}={\frac {(0.01)(0.50)}{0.024}}={\frac {5}{24}}}$.

За умови бракованості виробу ймовірністю того, що його було зроблено на третьому верстаті, є лише 5/24. Незважаючи на те, що верстат 3 виробляє половину загального обсягу продукції, він видає значно меншу частку бракованих виробів. Тому знання того, що вибраний виріб є бракованим, дозволяє нам замінити апріорну ймовірність ${\displaystyle P(A_{3})=1/2}$ меншою апостеріорною ймовірністю ${\displaystyle P(A_{3}\mid B)=5/24}$.

Знову ж таки, цієї відповіді може бути досягнуто без вдавання до формули, шляхом застосування умов до будь-якого гіпотетичного числа випадків. Наприклад, у 100 000 виробах, вироблених заводом, 20 000 буде вироблено верстатом A, 30 000 — верстатом B, і 50 000 — верстатом C. Верстат A виробить 1 000 бракованих виробів, верстат B — 900, а верстат C — 500. Із загального числа 2 400 бракованих виробів лише 500, або 5/24, було вироблено верстатом C.

У баєсовій (або епістемологічній) інтерпретації ймовірність вимірює міру впевненості. Теорема Баєса відтак пов'язує міру впевненості у висловленні до та після врахування свідчення. Наприклад, припустімо, що вважається із впевненістю 50%, що монета вдвічі ймовірніше падає гербом, ніж номіналом. Якщо монету підкидають кілька разів та спостерігають результати, то міра впевненості може рости, зменшуватися чи залишатися незмінною залежно від результатів.

Для висловлення ${\displaystyle A}$ та свідчення ${\displaystyle B}$

• ${\displaystyle P(A)}$, апріорна, — це початкова міра впевненості в ${\displaystyle A}$.
• ${\displaystyle P(A\mid B)}$, апостеріорна, — це міра впевненості із врахуванням ${\displaystyle B}$.
• частка ${\displaystyle {\frac {P(B\mid A)}{P(B)}}}$ представляє підтримку, що ${\displaystyle B}$ надає для ${\displaystyle A}$.

Для подальшої інформації про застосування теореми Баєса при баєсовій інтерпретації ймовірності див. баєсове висновування.

Ілюстрація частотницької інтерпретації за допомогою деревних схем. Теорема Баєса зв'язує умовні ймовірності з оберненими до них.

У частотницькій інтерпретації ймовірність вимірює частку результатів. Наприклад, припустімо, що експеримент проводиться багато разів. ${\displaystyle P(A)}$ є часткою результатів із властивістю ${\displaystyle A}$, а ${\displaystyle P(B)}$ — із властивістю ${\displaystyle B}$. ${\displaystyle P(B\mid A)}$ є часткою результатів із властивістю ${\displaystyle B}$ серед результатів із властивістю ${\displaystyle A}$, а ${\displaystyle P(A\mid B)}$ — часткою тих, що з ${\displaystyle A}$ серед тих, що з ${\displaystyle B}$.

Роль теореми Баєса найкраще візуалізується за допомогою деревоподібних схем, як показано праворуч. Ці дві діаграми розділюють одні й ті самі результати за ${\displaystyle A}$ та ${\displaystyle B}$ у протилежному порядку, для отримання зворотних ймовірностей. Теорема Баєса слугує зв'язком між цими двома розділюваннями.

Деревна схема, що ілюструє частотницький приклад. R, C, P та P з рискою — це події, що представляють рідкісний, поширений, з візерунком та без візерунку. Відсотки у дужках обчислюються. Зауважте, що надано три незалежні значення, отже є можливим обчислити обернене дерево (див. ілюстрацію вище).

Ентомолог бачить, можливо, рідкісний підвид жука, через візерунок на його спині. В рідкісного підвиду 98% мають цей візерунок, або P(Поширений|Рідкісний) = 98%. В поширеного підвиду цей візерунок мають 5%. Рідкісний підвид налічує лише 0.1% від популяції. Наскільки ймовірно, що жук з візерунком є рідкісним, або чому дорівнює P(Рідкісний|Поширений)?

З розширеної форми теореми Баєса (оскільки будь-який жук може бути лише рідкісним або поширеним),

${\displaystyle {\begin{aligned}P({\text{Рідкісний}}\mid {\text{Поширений}})&={\frac {P({\text{Поширений}}\mid {\text{Рідкісний}})P({\text{Рідкісний}})}{P({\text{Поширений}}\mid {\text{Рідкісний}})P({\text{Рідкісний}})\,+\,P({\text{Поширений}}\mid {\text{Спільний}})P({\text{Спільний}})}}\\[8pt]&={\frac {0.98\times 0.001}{0.98\times 0.001+0.05\times 0.999}}\\[8pt]&\approx 1.9\%.\end{aligned}}}$

Для подій ${\displaystyle A}$ та ${\displaystyle B}$, за умови, що ${\displaystyle P(B)\neq 0}$,

${\displaystyle P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)}}\cdot \,}$

У багатьох застосуваннях, наприклад, у баєсовому висновуванні, подія ${\displaystyle B}$ під час розгляду є фіксованою, і ми хочемо розглядати вплив того, що трапилося її спостереження, на нашу впевненість у різних можливих подіях ${\displaystyle A}$. У такій ситуації знаменник крайнього виразу, ймовірність заданого свідчення ${\displaystyle B}$, є фіксованим, а варіювати ми хочемо ${\displaystyle A}$. Тоді теорема Баєса показує, що апостеріорні ймовірності є пропорційними до чисельника:

${\displaystyle P(A\mid B)\propto P(A)\cdot P(B\mid A)\ }$ (пропорційність за ${\displaystyle A}$ для заданого ${\displaystyle B}$).

Словами: апостеріорне пропорційне апріорній кількості разів правдоподібності.[5]

Якщо події ${\displaystyle A_{1},A_{2},\ldots }$ є взаємовиключними та вичерпними, тобто, одна з них точно відбувається, але жодні дві не можуть відбуватися одночасно, і ми знаємо їхні ймовірності з точністю до пропорційності, то ми можемо визначити коефіцієнт пропорційності, використовуючи той факт, що їхні ймовірності повинні давати в сумі одиницю. Наприклад, для заданої події ${\displaystyle A}$ сама подія ${\displaystyle A}$ та її доповнення ${\displaystyle \lnot A}$ є взаємовиключними та вичерпними. При позначенні коефіцієнту пропорційності через ${\displaystyle c}$ ми маємо

${\displaystyle P(A\mid B)=c\cdot P(A)\cdot P(B\mid A)\ }$ та ${\displaystyle P(\neg A\mid B)=c\cdot P(\neg A)\cdot P(B\mid \neg A)\cdot }$

Шляхом додавання цих двох формул ми виводимо

${\displaystyle c={\frac {1}{P(A)\cdot P(B\mid A)+P(\neg A)\cdot P(B\mid \neg A)}}.}$

Іншою формою теореми Баєса, що звичайно зустрічається при розгляді двох конкурентних тверджень або гіпотез, є

${\displaystyle P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B\mid A)P(A)+P(B\mid \neg A)P(\neg A)}}\cdot }$

Для епістемологічної інтерпретації:

Для висловлення ${\displaystyle A}$ та свідчення або передумови ${\displaystyle B}$,[6]

• ${\displaystyle P(A)}$, апріорна ймовірність, є початковою мірою впевненості в ${\displaystyle A}$.
• ${\displaystyle P(\neg A)}$ є відповідною ймовірністю початкової міри впевненості проти ${\displaystyle A}$: ${\displaystyle 1-P(A)=P(\neg A)}$
• ${\displaystyle P(B\mid A)}$, умовна ймовірність або правдоподібність, є мірою впевненості в ${\displaystyle B}$ за умови істинності висловлення ${\displaystyle A}$.
• ${\displaystyle P(B\mid \neg A)}$, умовна ймовірність або правдоподібність, є мірою впевненості в ${\displaystyle B}$ за умови хибності висловлення ${\displaystyle A}$.
• ${\displaystyle P(A\mid B)}$, апостеріорна ймовірність, є ймовірністю ${\displaystyle A}$ після врахування ${\displaystyle B}$ за та проти ${\displaystyle A}$.

Часто для деякого розбиття ${\displaystyle \{A_{j}\}}$ простору вибірки цей простір подій задається або умоглядно представляється у термінах ${\displaystyle P(A_{j})}$ та ${\displaystyle P(B\mid A_{j})}$. У такому випадку зручно обчислювати ${\displaystyle P(B)}$ із використанням закону повної ймовірності:

${\displaystyle P(B)={\sum _{j}P(B\mid A_{j})P(A_{j})},}$

${\displaystyle \Rightarrow P(A_{i}\mid B)={\frac {P(B\mid A_{i})\,P(A_{i})}{\sum \limits _{j}P(B\mid A_{j})\,P(A_{j})}}\cdot }$

В окремому випадку, коли ${\displaystyle A}$ є двійковою змінною:

${\displaystyle P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B\mid A)P(A)+P(B\mid \neg A)P(\neg A)}}\cdot }$

Схема, що ілюструє значення теореми Баєса при застосуванні до простору подій, породжуваного безперервними випадковими змінними X та Y. Зауважте, що існує випадок теореми Баєса для будь-якої точки області визначення. На практиці ці випадки може бути параметризовано записуванням вказаних густин ймовірності як функції від x та y.

Розгляньмо простір подій ${\displaystyle \Omega }$, породжуваний двома випадковими змінними ${\displaystyle X}$ та ${\displaystyle Y}$. В принципі, теорема Баєса застосовується до подій ${\displaystyle A=\{X=x\}}$ та ${\displaystyle B=\{Y=y\}}$. Однак, члени стають нульовими у точках, де будь-яка зі змінних має скінченну густину імовірності. Щоби теорема Баєса залишалася придатною, її може бути сформульовано у термінах доречних густин (див. Виведення).

Якщо ${\displaystyle X}$ є безперервною, а ${\displaystyle Y}$ — дискретною,

${\displaystyle f_{X}(x\mid Y=y)={\frac {P(Y=y\mid X=x)\,f_{X}(x)}{P(Y=y)}}}$.

Якщо ${\displaystyle X}$ є дискретною, а ${\displaystyle Y}$ — безперервною,

${\displaystyle P(X=x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,P(X=x)}{f_{Y}(y)}}}$.

Якщо як ${\displaystyle X}$, так і ${\displaystyle Y}$ є безперервними,

${\displaystyle f_{X}(x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,f_{X}(x)}{f_{Y}(y)}}}$.

Схема, що ілюструє, як часто умоглядно представляють простір подій, породжуваний безперервними випадковими змінними X та Y.

Безперервний простір подій часто представляється у термінах чисельників. Часто зручно виключати знаменник, використовуючи закон повної ймовірності. Для ${\displaystyle f_{Y}(y)}$ це стає інтегралом

${\displaystyle f_{Y}(y)=\int _{-\infty }^{\infty }f_{Y}(y\mid X=\xi )\,f_{X}(\xi )\,d\xi }$.

Правило Баєса — це теорема Баєса у формі шансів.

${\displaystyle O(A_{1}:A_{2}\mid B)=O(A_{1}:A_{2})\cdot \Lambda (A_{1}:A_{2}\mid B)}$

де

${\displaystyle \Lambda (A_{1}:A_{2}\mid B)={\frac {P(B\mid A_{1})}{P(B\mid A_{2})}}}$

називається коефіцієнтом Баєса, або відношенням правдоподібності, і шанси між двома подіями є просто відношенням ймовірностей цих двох подій. Отже,

${\displaystyle O(A_{1}:A_{2})={\frac {P(A_{1})}{P(A_{2})}}}$,

${\displaystyle O(A_{1}:A_{2}\mid B)={\frac {P(A_{1}\mid B)}{P(A_{2}\mid B)}}}$.

Таким чином, це правило говорить, що апостеріорні шанси є апріорними шансами, помноженими на коефіцієнт Баєса, або, іншими словами, апостеріорне пропорційне апріорній кількості разів правдоподібності.

Теорему Баєса може бути виведено з визначення умовної ймовірності:

${\displaystyle P(A\mid B)={\frac {P(A\cap B)}{P(B)}}}$, якщо ${\displaystyle P(B)\neq 0}$,

${\displaystyle P(B\mid A)={\frac {P(A\cap B)}{P(A)}}}$, якщо ${\displaystyle P(A)\neq 0}$,

${\displaystyle \Rightarrow P(A\cap B)=P(A\mid B)\,P(B)=P(B\mid A)\,P(A)}$,

${\displaystyle \Rightarrow P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)}}}$, якщо ${\displaystyle P(B)\neq 0}$.

Для двох безперервних випадкових змінних ${\displaystyle X}$ та ${\displaystyle Y}$ теорему Баєса може бути виведено аналогічно з визначення умовної густини:

${\displaystyle f_{X}(x\mid Y=y)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)}}}$

${\displaystyle f_{Y}(y\mid X=x)={\frac {f_{X,Y}(x,y)}{f_{X}(x)}}}$

${\displaystyle \Rightarrow f_{X}(x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,f_{X}(x)}{f_{Y}(y)}}}$.