p-значення

В статистиці, кожна гіпотеза щодо невідомого розподілу ${\displaystyle F}$ випадкової величини ${\displaystyle X}$ називається статистичною гіпотезою. Якщо ми стверджуємо про одну гіпотезу і нашою метою є статистична перевірка чи є ця гіпотеза не хибною, але не маємо наміру, одночасно з тим, досліджувати іншу гіпотезу, тоді така перевірка називається перевіркою значимості. Статистична гіпотеза, яка стосується лише числових значень невідомих параметрів певного розподілу називається параметричною гіпотезою. Методи перевірки статистичних гіпотез називаються статистичними тестами. Тести, що перевіряють параметричні гіпотези називаються параметричними тестами.[5]

p-значення застосовується у контексті перевірки нульової гіпотези для надання кількісної оцінки поняттю статистичної значущості доведення. Зауважте що статистична значущість результату не означає те, що результат так само має наукову значимість. Доведення нульової гіпотези це метод доведення до абсурду — аргументування, що прийняте у статистиці. По суті, твердження вважається правильним, якщо його протилежне твердження є неймовірним.

Таким чином, єдиною гіпотезою яку необхідно визначити при такій перевірці є протилежна гіпотеза, що називається нульовою гіпотезою (тобто гіпотеза, яка вважається не правдивою). Результат вважатиметься статистично значимим якщо нульову гіпотезу можна перевірено спростувати. Тобто іншими словами, при методі доведення до абсурду, для статистично значимого результату нульова гіпотеза матиме дуже малу ймовірність того, що вона є правдивою. Спростування нульової гіпотези означає, що правильна гіпотеза полягає в логічному доповнені до нульової гіпотези. Однак, якщо існує хоча б одна альтернатива нульовій гіпотезі, її спростування не може точно означати яка з інших альтернативних гіпотез є правдивою.

Якщо ${\displaystyle X}$ є випадковою величиною, що представляє собою дані спостереження і ${\displaystyle H}$ — статистична гіпотеза, що розглядається, тоді нотація статистичної значимості можна інтуїтивно визначити за допомогою умовної імовірності ${\displaystyle \Pr(X|H)}$, яка задає ймовірність спостереження за умови, що гіпотеза припускається правдивою. Однак, якщо ${\displaystyle X}$ є неперервною випадковою величиною і спостерігається її реалізація ${\displaystyle x}$, ${\displaystyle \Pr(X=x|H)=0.}$ У такому застосуванні, інтуїтивне визначення є не адекватним і його необхідно змінити так, щоб воно відповідало неперервним випадковим величинам.

Приклад розрахунку p-значення. Вертикальній координатній шкалі відповідає густині імовірності кожного результату, розрахованого відповідно до нульової гіпотези. p-значення це площа під кривою, що знаходиться за точкою даних спостереження.

p-значення визначають як імовірність, за умови нульової гіпотези, тут позначеної як ${\displaystyle H}$ (але досить часто її позначають як ${\displaystyle H_{0}}$, що є протилежним до ${\displaystyle H_{a}}$, що іноді використовують для позначення альтернативної гіпотези), отримати результат рівний або більш екстремальний ніж той, що фактично спостерігався. В залежності від того як це розглядати, «більш екстремальний ніж той, що фактично спостерігався», може означати ${\displaystyle \{X\geq x\}}$ (подія із правого хвоста) або ${\displaystyle \{X\leq x\}}$ (подія із лівого хвоста) або «менший» із ${\displaystyle \{X\leq x\}}$ та ${\displaystyle \{X\geq x\}}$ (подія із обох хвостів). Таким чином, p-значення визначається як

• ${\displaystyle \Pr(X\geq x|H)}$ для випадку події із правого хвоста,
• ${\displaystyle \Pr(X\leq x|H)}$ для випадку події із лівого хвоста,
• ${\displaystyle 2\min\{\Pr(X\leq x|H),\Pr(X\geq x|H)\}}$ для обох хвостів.

Чим меншим є p-значення, тим вищою буде значимість, оскільки це говорить досліднику про те, що досліджувана гіпотеза не може адекватно пояснити спостереження. Нульова гіпотеза ${\displaystyle H}$ відкидається якщо будь-яка із цих імовірностей менша або дорівнює малій величині, що за відомо визначена як порогове значення ${\displaystyle \alpha }$, яка називається рівнем статистичної значущості. На відміну від p-значення, ${\displaystyle \alpha }$ рівень не отримують із даних спостереження і він не залежить від даної гіпотези; значення ${\displaystyle \alpha }$ визначає дослідник перед вивченням статистичних даних. Надавати значення параметру ${\displaystyle \alpha }$ не обов'язково. Як правило, типовими можливим значенням для ${\displaystyle \alpha }$ можуть бути 0.05, 0.01, 0.005, або 0.001.

Оскільки значення ${\displaystyle x}$, що відповідає події із лівого чи правого хвоста є випадковою величиною, це дозволяє розглядати p-значення як функцію від ${\displaystyle x}$ і як випадкову величину саму по собі. Відповідно до нульової гіпотези, p-значення визначено рівномірно в інтервалі ${\displaystyle [0,1]}$, із припущення, що ${\displaystyle x}$ є неперервною. Таким чином, p-значення не є фіксованим. Це означає, що p-значенню не можна інтерпретувати як підрахунок частоти, оскільки імовірність повинна бути фіксована для здійснення підрахунку частоти. Іншими словами, якщо один і той самий тест повторити незалежним чином висуваючи ту саму загальну нульову гіпотезу, він призведе до іншого p-значення для кожного повтору. Тим не менш, ці різні p-значення можна об'єднати за допомогою Комбінованого ймовірнісного тесту Фішера.

Уявімо, що ми тестуємо нульову гіпотезу ${\displaystyle H_{0}}$ про відсутність зв'язку між двома знаками у таблиці спряженості 2×2 за допомогою критерію Хі-квадрат. Тут, р-значення є ймовірністю отримати таку або ще симетричнішу (рівномірнішу) табличку. Таблиця є симетричною, коли ми припускаємо відсутність залежності між знаками. Тому, що більшим є р-значення, то більшою є імовірність прийняти ${\displaystyle H_{0}}$, звісно, за умови що р-значення > ${\displaystyle \alpha }$ (див. вище). Тому, р-значення є ймовірністю того, що всі відхилення від симетричності у табличці було зумовлено сторонніми чинниками, а не залежністю знаків. А це і є саме тим, що стверджує нульова гіпотеза — що залежності між знаками не існує, вони не впливають на значення один одного, а усі відмінності у таблиці є результатом стороннього впливу.[6]

Деякі статистики рекомендують доповнювати або зовсім замінювати р-значення іншими статистичними методами. Такими як довірчі інтервали, коефіцієнти правдоподібності, баєсова статистика та моделювання з використанням теорії ухвалювання рішень. Ці підходи безпосередньо стосуються розміру ефекту і більше фокусуються на оцінці, ніж на тестуванні.[1]

Критику р-значення є також пояснено в статті Джейкоба Коена 1994 року з іронічною назвою «Земля кругла (p < .05)» (англ. The Earth Is Round (p < .05))[7]

Один з авторів статистичного пакету мови програмування R умисно не ввів р-значення до функції lmer() для розрахунку лінійних змішаних моделей.[8]

Статистична значущість

• Free online p-values calculators for various specific tests (chi-square, Fisher's F-test, etc.).
• Understanding p-values, including a Java applet that illustrates how the numerical values of p-values can give quite misleading impressions about the truth or falsity of the hypothesis under test.
• StatQuest: P Values, clearly explained на YouTube
• StatQuest: P-value pitfalls and power calculations на YouTube