Омана базового відсотку

Джон носить готичний одяг, має довге чорне волосся, та слухає дез-метал. Яка ймовірність, що він — християнин, і яка ймовірність що він — сатаніст?

Якщо людям поставлять це запитання, вони швидше за все недооцінять ймовірність того, що він християнин, та переоцінять ймовірність того, що він сатаніст. Це тому, що вони проігнорують, що базовий відсоток християнства (у світі сповідують бл. 2 млрд.людей) значно більше базового відсотка сатанізму (оцінюється у декілька тисяч).[2]

Поліцейські оснащені індикаторними трубками, що хибно визначають ступінь сп'яніння у 5 % тестів (тобто вказують на тверезу людину як на п'яну). Однак дійсно п'яну людину вони завжди визначають правильно. Один з 1000 водіїв за кермом п'яний. Припустіть, що поліцейський випадковим чином зупиняє машину і пропонує водію пройти тест. Тест показує, що водій п'яний. Припустіть також, що нічого більше про водія не відома (зокрема щодо інших ознак сп'яніння). Яка ймовірність, що водій дійсно п'яний?

Більшість відповість, що близько 0,95; але правильна ймовірність лише бл. 0,02.

Для отримання правильної відповіді слід використовувати теорему Баєса. Мету визначити ймовірність того, що водій п'яний, якщо на це вказала індикаторна трубка, можна виразити наступним чином:

${\displaystyle p(d|D)}$

де «D» означає, що індикаторна трубка показала, що водій п'яний, а d — що водій дійсно п'яний. Теорема Баєса каже, що

${\displaystyle p(d|D)={\frac {p(D|d)\,p(d)}{p(D)}}}$

У першому параграфі ми отримали такі дані:

${\displaystyle p(d)=0.001}$

${\displaystyle p(s)=0.999}$

${\displaystyle p(D|d)=1.00}$

${\displaystyle p(D|s)=0.05}$,

де s — водій насправді тверезий. Як видно з формули, теорема Баєса потребує p(D), значення якого можна отримати з попередніх значень з використанням наступного

${\displaystyle p(D)=p(D|d)\,p(d)+p(D|s)\,p(s)}$

в результаті

${\displaystyle p(D)=0.05095}$

Підставивши ці цифри у теорему Баєса, отримаємо

${\displaystyle p(d|D)=0.019627\cdot }$

Більш інтуїтивне пояснення: в середньому на кожні 1000 протестованих водіїв,

• 1 водій є п'яним, і з ймовірністю 100 % трубка покаже для нього вірний позитивний результат тесту, і це один вірний позитивний результат тесту;
• 999 водіїв не п'яні, і серед них 5 % отримають хибний позитивний результат тесту, а це 49,95 хибних позитивних результатів тесту.

Таким чином ймовірність, що один з 1 + 49,95 = 50,95 водіїв, які отримали позитивний результат тесту, є п'яним дорівнює ${\displaystyle p(d|D)=1/50,95\approx 0.019627}$.

Правильність результату, однак, залежить на правильності припущення, що поліція зупинила справді випадкового водія, а не через погане водіння. Якщо ж зупинка водія відбулася з цієї або іншої не довільної причини, підрахунок ймовірності повинен враховувати ймовірність того, що п'яний водій їде компетентно (без порушень) і не п'яний водій їде компетентно.

У місті з мільйонним населенням є 100 терористів та 999 900 не терористів. Для спрощення прикладу, припускається, що всі люди в місті є його населенням. Тому, базовий відсоток того, що випадково вибраний мешканець є терористом, дорівнює 0,0001, а базовий відсоток того, що він не терорист, — 0,9999. Намагаючись схопити терористів, місто встановлює систему тривоги з камерами спостереження та програмним забезпеченням автоматичного розпізнавання облич.

Програмне забезпечення має дві можливі помилки з ймовірністю 1 % кожна:

• Негативна помилка: Коли камера бачить терориста, сигнал тривоги пролунає у 99 % випадків, та промовчить у 1 % випадків.
• Позитивна помилка: Коли камера бачить не-терориста, сигнал тривоги не пролунає у 99 % випадків, та задзвенить у 1 % випадків..

Тепер уявіть, що сигнал тривоги пролунав щодо випадкового мешканця. Які шанси, що він — терорист? Іншими словами, яке значення P(T|B), ймовірності, що дзвінок спрацював на терориста? Ті, хто піддаються омані базового відсотку, скажуть, що воно дорівнює 99 %. Хоча таке припущення здається слушним, насправді воно погане, а розрахунки нижче покажуть, що ймовірність того, що випадкова людина, на якій спрацював сигнал тривоги, є терористом, насправді близько 1 %, а не 99 %.

Омана виникає внаслідок сплутування природи двох різних відсотків помилки. Кількість випадків відсутності дзвінка на 100 терористів та кількість не-терористів на 100 дзвінків є непов'язаними кількостями. Одне необов'язково дорівнює іншому, і вони навіть не повинні бути майже рівними. Для ілюстрації цього, подумайте, що трапиться, якщо аналогічна система буде встановлена в іншому місті, де терористів не має зовсім. Як і у першому місті, тривога спрацює один раз на кожні 100 жителів міста, які не є терористами, однак на відміну першому місті, тривога ніколи не спрацює для терориста. Таким чином, у 100 % випадків тривога звучить для не-терориста, а негативну помилку навіть неможливо розрахувати.

Уявіть, що все населення міста в 1 млн пройде перед камерою. Для бл.99 зі 100 терористів спрацює тривога, але так само вона спрацює для бл. 9 999 людей з 999 900 не-терористів. Отже, тривога зазвучить для бл. 10 098 людей, з яких лише бл. 99 будуть терористами. Таким чином, ймовірність, що людина, для якої спрацювала тривога, є терористом 99 з 10 098, що менше 1 %, та набагато нижче початкової здогадки в 99 %.

У цьому випадку омана базового відсотку така сильна тому, що не-терористів набагато більше ніж терористів.

Згідно експериментів, люди надають перевагу виокремлюючій інформації поряд над загальною інформацією, коли перша доступна.[3][4][5]

У деяких експериментах, студентів просили оцінити середній оцінний бал гіпотетичних студентів. Коли їм надали відповідну статистику про розподіл середнього оцінного балу, студенти мають тенденцію ігнорувати цю статистику, якщо їм надали описову інформацію про конкретного студента, навіть якщо ця нова інформація не має або має дуже малий стосунок до успіхів у навчанні цього студента.[4] Це відкриття було використано для обґрунтування, що співбесіда не є необхідною для вступу до вишів, оскільки інтерв'юери не можуть краще обрати успішних кандидатів ніж звичайна статистика.

Психологи Деніел Канеман та Амос Тверські намагалися пояснити ці відкриття через просте правило або «евристику», що має назву репрезентативність. Вони доводили, що багато суджень, які стосуються вірогідності або причини або наслідку, засновані на тому, наскільки одна річ репрезентує іншу або категорію.[4] Канеман вважає ігнорування базового відсотку специфічною формою ігнорування розширення.[6] Річард Нісбет доводив, що деякі упередження атрибуції, наприклад фундаментальна помилка атрибуції є прикладами омани базового відсотку: люди недостатньо використовують «консенсусну інформацію» («базовий відсоток») про те, як інші поводилися в аналогічних ситуаціях, а замість того, надають перевагу простішим диспозиційним атрибуціям.[7]

У психології триває серйозна суперечка щодо умов, за яких люди оцінюють або не оцінюють базовий відсоток.[8][9] Дослідники програм з вивчення евристики та упереджень наголошують, що емпіричні свідчення показують, що люди мають тенденцію ігнорувати базовий відсоток та роботи висновки, які порушують певні норми ймовірнісного судження, наприклад теорему Баєса. За результатами цього напрямку досліджень робиться висновок, що ймовірнісне мислення людини має фундаментальні недоліки та схильне до помилок.[10] Інші вчені наголошують на зв'язку між когнітивними процесами та форматами інформації, доводячи, що такі висновки в цілому не обґрунтовані.[11][12]

Розгляньте знову Приклад 2. Необхідний висновок — це оцінка ймовірності, що (випадково обраний) водій є п'яним, за умов, що індикаторна трубка дає позитивний результат. Формально, ця ймовірність може бути підрахована через теорему Баєса, як показано вище. Однак, існують різні шляхи до надання необхідної інформації. Наприклад, розгляньте наступний, формально еквівалентний варіант проблеми:

 1 з 1000 водіїв п'яний на дорозі. Індикаторні трубки ніколи не помиляються вказати на дійсно п'яного водія. Для 50 з 999 водіїв, індикаторна трубка хибно показує, що вони п'яні. Припустіть, що поліцейський випадково зупиняє водія і наполягає на тесті індикаторною трубкою. Вона вказує, що водій п'яний. Припустимо, що більше нічого Вам про водія не відомо. Яка ймовірність, що водій дійсно п'яний?

У цьому випадку, необхідна числова інформація — p(d), p(D|d), p(D|s) — надана у вигляді натуральної частоти по відношенню до певного класу порівняння (дивись проблема класу порівняння). Емпіричні дослідження показують, що людські припущення більше відповідають правилу Баєс, коли інформація подана саме таким чином, який дозволяє як звичайним людям[12], так і експертам, подолати оману базового відсотку.[13] Як наслідок, такі організації, як «Кохранівська співпраця» рекомендують використовувати цей формат для передачі статистики у сфері охорони здоров'я.[14] Навчити людей переводити проблеми Баєсівського судження у формат натуральної частоти є більш ефективним, ніж просто навчити їх підставляти ймовірності (або відсотки) в теорему Баєса.[15] Дослідження також показали, що графічне зображення натуральних частот (наприклад, у вигляді масивів значків) допомагає людям робити кращі припущення.[15][16][17]

Чому такі формати натуральних частот допомагають? Одна з важливих причин — таким інформаційний формат породжує необхідне припущення, бо він спрощує необхідні підрахунки. Це можна продемонструвати наступним шляхом підрахунку необхідної ймовірності p(d|D):

${\displaystyle p(d|D)={\frac {N(d\cap D)}{N(D)}}={\frac {1}{51}}=0.0196}$

де N(d ∩ D) означає кількість водіїв, які п'яні і отримують позитивний тест індикаторної трубки, а N(D) — загальна кількість випадків позитивних тестів індикаторної трубки. Еквівалентність цього рівняння до рівняння вище витікає з аксіоми теорії ймовірності, за якою N(d ∩ D) = p (D|d) × p (d). Найважливіше, що хоча це рівняння формально еквівалентне правилу Баєса, психологічно воно не еквівалентно. Використання натуральних частот спрощує припущення, бо необхідні математичні операції можуть бути здійснені з натуральними числами, замість нормалізованих частин (тобто, ймовірностей), також, це робить високу кількість хибних результатів більш очевидною, а крім того, натуральні частоти демонструють «структуру вкладеного набору».[18][19]

Важливо зазначити, що Баєсівське судження відбувається не при будь-якому форматі частоти.[19][20] Натуральні частоти — це та інформація про частоту, яка виникає при натуральному відборі,[21] який зберігає інформацію про базовий відсоток (зокрема, кількість п'яних водіїв при випадковій вибірці водіїв). Це відрізняється від систематичного відбору, при якому базовий відсоток є наперед зафіксованим (наприклад, в науковому експерименті). В останньому випадку, неможливо зробити припущення щодо ймовірності p (d|позитивний тест) внаслідок порівняння кількості п'яних водіїв, щодо яких трубка дала позитивний результат, та загальної кількості водіїв, щодо кого трубка показала позитивний результат, оскільки базовий відсоток не був збережений і для вирішення повинен бути спеціально доданий з використанням теореми Баєса.

• Баєсова ймовірність
• Сліпе прочісування даних
• Парадокс помилкового спрацьовування
• Індукція логічна
• Перелік когнітивних упереджень
• Оманлива чіткість
• Омана прокурора

• Омана базового відсотку на The Fallacy Files
• Psychology of Intelligence Analysis: Base Rate Fallacy
• The base rate fallacy explained visually (Video)
• Interactive page for visualizing statistical information and Bayesian inference problems
• Current ‘best practice’ for communicating probabilities in health according to the International Patient Decision Aid Standards (IPDAS) Collaboration