Статистичне висновування

Статистики розрізняють три рівні моделювальних припущень:

• Повністю параметричний: Розподіли ймовірностей, що описують процес породження даних, вважають повністю описаними сімейством розподілів імовірності, що включають лише обмежену кількість невідомих параметрів.[8] Наприклад, можна припустити, що розподіл значень генеральної сукупності є істинно нормальним, з невідомими середнім значенням та дисперсією, і що набори даних породжуються «простим» випадковим вибиранням. Широко застосовуваним та гнучким класом параметричних моделей є узагальнені лінійні моделі.
• Непараметричний: Припущення стосовно процесу, що породжує дані, є значно меншими, ніж у параметричній статистиці, й можуть бути мінімальними.[9] Наприклад, кожен безперервний розподіл імовірності має медіану, яку може бути оцінено з використанням медіани вибірки, або оцінки Ходжеса — Лемана — Сена, що має гарні властивості, коли дані походять з простого випадкового відбору.
• Напівпараметричний: Під цим терміном зазвичай мають на увазі припущення «посередині» між повністю параметричним та непараметричним підходами. Наприклад, можна припустити, що розподіл генеральної сукупності має скінченне середнє значення. Крім того, можна припустити, що рівень чутливості середнього значення в генеральній вибірці залежить істинно лінійним чином від деякої коваріати (параметричне припущення), але не робити жодного параметричного припущення, що описувало би дисперсію навколо цього середнього значення (тобто, про наявність або можливий вигляд будь-якої гетероскедастичності). Загальніше, напівпараметричні моделі часто можливо розділити на «структурну» складову, та складову «випадкової дисперсії». Одну складову обробляють параметрично, а іншу — непараметрично. Добре відома модель Кокса є набором напівпараметричних припущень.

Якого б рівня припущення не робилися, правильно відкаліброване висновування в цілому вимагає, щоби ці припущення були правильними, тобто, щоби механізми породжування даних дійсно було вказано правильно.

Неправильні припущення про «просте» випадкове вибирання можуть зробити статистичне висновування нечинним. Наприклад, неправильне припущення про модель Кокса може в деяких випадках призвести до хибних висновків.[10] Неправильні припущення про нормальність в генеральній сукупності також позбавляють чинності деякі види висновування на основі регресії.[11] Використання будь-якої параметричної моделі розглядається скептично більшістю експертів у відборі вибірок з людських сукупностей: «більшість статистиків, що роблять вибірки, коли мають справу з довірчими проміжками взагалі, то обмежують себе твердженнями [про оцінки] на основі дуже великих вибірок, коли центральна гранична теорема гарантує, що [оцінки] матимуть розподіли, що є майже нормальними».[12] Зокрема, нормальний розподіл «був би абсолютно нереалістичним та катастрофічно нерозумним припущенням, якщо ми маємо справу з будь-яким типом економічної генеральної сукупності».[12] Тут центральна гранична теорема стверджує, що розподіл середнього значення вибірки «для дуже великих вибірок» є розподіленим приблизно нормально, якщо цей розподіл має не повільно спадний хвіст.

Враховуючи труднощі визначення точних розподілів статистик вибірки, було розроблено багато методів їхнього наближення.

При скінченних вибірках результати наближення вимірюють, наскільки близько граничний розподіл наближається до розподілу вибірки статистики: наприклад, із 10 000 незалежними зразками нормальний розподіл наближається (з двома цифрами точності) до розподілу вибіркового середнього для багатьох популярних розподілів, згідно теореми Беррі — Ессена.[13] Тим не менше, для багатьох практичних цілей нормальне наближення дає добре наближення за наявності 10 (або більше) незалежних зразків, згідно із симуляційними дослідженнями та досвідом статистиків.[13] Після праці Колмогорова в 1950-х роках передова статистика використовує теорію наближень та функціональний аналіз для кількісного вираження похибки наближення. У цьому підході досліджується метрична геометрія розподілів ймовірностей; цей підхід виражає похибку наближення за допомогою, наприклад, розходження Кульбака — Лейблера, Брегманове розходження та відстані Хеллінгера.[14][15][16]

Для нескінченно великих вибірок граничний розподіл вибіркової статистики, якщо такий існує, описують граничні результати, такі як центральна гранична теорема. Граничні результати не є твердженнями про скінченні вибірки, і дійсно є недоречними для них.[17][18][19] Тим не менш, асимптотичну теорію граничних розподілів часто залучають для роботи зі скінченними вибірками. Наприклад, граничні результати часто залучають для обґрунтування узагальненого методу моментів та для використання узагальнених оцінювальних рівнянь, що є популярними в економетрії та біологічній статистиці. Величину різниці між граничним та істинним розподілами (формально, «похибку» апроксимації) може бути оцінено із застосуванням симуляції.[20] Евристичне застосування граничних результатів до скінченних вибірок є поширеною практикою в багатьох застосуваннях, особливо з моделями невисокої розмірності з логарифмічно угнутими правдоподібностями (такими як однопараметричні експоненційні сімейства).

Для заданого набору даних, що було вироблено за планування з рандомізацією, розподіл рандомізації статистики (за нульової гіпотези) визначає оцінка пробної статистики для всіх планів, що може бути породжено цим плануванням з рандомізацією. У частотницькому висновуванні рандомізація дозволяє висновуванням ґрунтуватися на розподілі рандомізації, а не на суб'єктивній моделі, і це є особливо важливим у вибиранні для обстеження та плануванні експериментів.[21][22] Статистичне висновування із рандомізованих досліджень є також простішим і в багатьох інших ситуаціях.[23][24][25] Рандомізація є важливою і в баєсовім висновуванні: у вибиранні для обстеження застосування вибирання без повертання забезпечує взаємозамінність вибірки з генеральною сукупністю; в рандомізованих експериментах рандомізація гарантує припущення випадкової відсутності для інформації про коваріату.[26]

Об'єктивна рандомізація дозволяє правильні індуктивні процедури.[27][28][29][30][31] Багато статистиків віддають перевагу аналізу на основі рандомізації для даних, що було породжено чітко визначеними рандомізаційними процедурами.[32] (Тим не менше, правдою є й те, що в галузях науки із розвиненими теоретичними знаннями та керуванням експериментами рандомізовані експерименти можуть збільшувати витрати на експериментування без поліпшення якості висновків.[33][34]) Так само, результати рандомізованих експериментів рекомендуються провідними статистичними органами як такі, що можуть уможливлювати висновування з більшою надійністю, ніж спостережні дослідження тих самих явищ.[35] Тим не менше, добре спостережне дослідження може бути кращим за поганий рандомізований експеримент.

Статистичний аналіз рандомізованого експерименту може ґрунтуватися на схемі рандомізації, визначеній у протоколі експерименту, і не потребує суб'єктивної моделі.[36][22]

Проте, як би там не було, деякі гіпотези неможливо перевіряти із застосуванням об'єктивних статистичних моделей, що точно описують рандомізовані експерименти або випадкові вибірки. В деяких випадках такі рандомізовані дослідження є неекономічними або неетичними.

Стандартною практикою при аналізі даних з рандомізованих експериментів є посилатися на статистичну модель, наприклад, лінійну або логістичну.[37] Проте схема рандомізації направляє обирання статистичної моделі. Неможливо вибрати підхожу модель, не знаючи схеми рандомізації.[22] Ігноруючи протокол експерименту при аналізі даних з рандомізованих експериментів, можна отримати небезпечно оманливі результати; поширені помилки включають забування блокування, що використовується в експерименті, та сплутування повторюваних вимірювань на одній і тій же експериментальній одиниці з незалежними повторами обробки, застосовуваної до різних експериментальних одиниць.[38]

Безмодельні методики забезпечують доповнення до методів на основі моделей, які застосовують редукціоністські стратегії спрощування дійсності. Перші ж поєднують, розвивають, комбінують та тренують алгоритми динамічно, пристосовуючись до контекстних спорідненостей процесу, та навчаючись характеристик, притаманних спостереженням.[37][39]

Наприклад, безмодельна проста лінійна регресія ґрунтується або на

• випадковім плануванні, в якому пари спостережень ${\displaystyle (X_{1},Y_{1}),(X_{2},Y_{2}),\cdots ,(X_{n},Y_{n})}$ є незалежними та однаково розподіленими (н. о. р.), або на
• детермінованім плануванні, в якому пари спостережень ${\displaystyle X_{1},X_{2},\cdots ,X_{n}}$ є детермінованими, але відповідні змінні відгуку ${\displaystyle Y_{1},Y_{2},\cdots ,Y_{n}}$ є випадковими та незалежними зі спільним умовним розподілом, тобто, ${\displaystyle P\left(Y_{j}\leq y|X_{j}=x\right)=D_{x}(y)}$, що є незалежним від індексу ${\displaystyle j}$.

В кожному з випадків безмодельне рандомізоване висновування для ознак спільного умовного розподілу ${\displaystyle D_{x}(.)}$ покладається на певні умови регулярності, наприклад, функційної гладкості. Наприклад, безмодельне рандомізоване висновування для ознаки сукупності умовне середнє, ${\displaystyle \mu (x)=E(Y|X=x)}$, може бути послідовно оцінено через локальне усереднювання або локальне поліноміальне допасовування, за припущення, що ${\displaystyle \mu (x)}$ є гладкою. Також, покладаючись на асимптотичну нормальність або перевибірку, ми можемо будувати довірчі проміжки для ознаки сукупності, в цьому випадку, умовного середнього ${\displaystyle \mu (x)}$.[40]

Ця парадигма калібрує слушність висловлень шляхом розгляду (релевантного) повторюваного відбору з розподілу сукупності для вироблення наборів даних, подібних до наявного. Шляхом розгляду характеристик цього набору даних на повторюваних вибірках може бути отримано кількісну оцінку частотницьких властивостей статистичного висловлення, хоча на практиці таке кількісне оцінювання може бути складним завданням.

• p-значення
• Довірчий проміжок

Однією з інтерпретацій частотницького висновування (або класичного висновування) є те, що воно є застосовним лише в термінах частотницької ймовірності, тобто в термінах повторюваних вибірок із генеральної сукупності. Проте підхід Неймана[42] розвиває ці процедури в термінах преекспериментальних імовірностей. Тобто, перш ніж приступати до експерименту, ухвалюють рішення про правило, як приходити до висновку, так що ймовірність бути правильними контролюється зручним чином: такій імовірності не потрібно мати частотницьку інтерпретацію, або інтерпретацію повторного відбору. На противагу, баєсове висновування працює в термінах умовних імовірностей (тобто ймовірностей, обумовлених спостережуваними даними), порівнюваних із відособленими (але обумовленими невідомими параметрами) ймовірностями, що застосовуються в частотницькому підході.

Частотницькі процедури перевірки значущості та довірчих проміжків може бути побудовано без врахування функцій корисності. Проте деякі елементи частотницьких статистик, такі як статистична теорія рішень, таки включають функції корисності.^{[джерело?]} Зокрема, частотницькі розвитки оптимального висновування (такі як мінімально-дисперсійні незміщені оцінки або рівномірно найпотужніші критерії) використовують функції втрат, що відіграють роль (від'ємних) функцій корисності. Статистикам-теоретикам не потрібне явне вказання функцій втрат для доведення того, що статистична процедура володіє властивістю оптимальності.[43] Тим не менше, функції втрат часто є корисними для встановлення властивостей оптимальності: наприклад, медіанні незміщені оцінки є оптимальними за модульних функцій втрат, бо вони мінімізують очікувані втрати, а мінімально-квадратичні оцінки є оптимальними за квадратичних функцій втрат, бо вони мінімізують очікувані втрати.

Хоча статистики, що використовують частотницьке висновування, і повинні обирати для себе параметри, що їх цікавлять, та оцінки/критерії, які застосовувати, відсутність очевидно явних функцій корисності та апріорних розподілів посприяла тому, що частотницькі процедури стали широко розглядатися як «об'єктивні».[44]

Баєсове числення описує міри переконання із застосуванням «мови» ймовірності; переконання є додатними, інтегруються в одиницю, та підкоряються аксіомам імовірності. Баєсове висновування використовує доступні апостеріорні переконання як основу для створення статистичних висловлень. Існує декілька різних обґрунтувань застосування баєсового підходу.

• Імовірний проміжок для проміжкового оцінювання
• Коефіцієнти Баєса для порівнювання моделей

Багато неформальних баєсових висновувань ґрунтуються на «інтуїтивно розумних» зведеннях апостеріорного. Наприклад, як такі може бути обґрунтовано апостеріорне середнє, медіану та моду, проміжки найвищої густини апостеріорного та коефіцієнти Баєса. І хоча в цьому типі висновування й не потрібно вказувати користувацьку функцію корисності, ці зведення всі залежать (певною мірою) від вказаних апріорних переконань, і загалом розглядаються як суб'єктивні висновки. (Було запропоновано методи побудови апріорного, що не вимагають зовнішнього введення, але їх ще не було повністю розроблено.)

Формально баєсове висновування калібрується із посиланням на явно вказану функцію корисності, або втрат; «правило Баєса» є таким, що максимізує очікувану корисність, усереднену над невизначеністю апостеріорного. Формальне баєсове висновування відтак автоматично пропонує оптимальні рішення в розумінні теорії рішень. При заданих припущеннях, даних та корисності баєсове висновування може бути зроблено практично для будь-якої задачі, хоча не кожному статистичному висновуванню потрібно мати баєсову інтерпретацію. Аналізи, що не є формально баєсовими, можуть бути (логічно) незв'язними; особливість баєсових процедур, що використовують коректні апріорні (тобто такі, що інтегруються до одиниці), полягає в тому, що вони гарантовано будуть зв'язними. Деякі прихильники баєсового висновування стверджують, що висновування мусить мати місце в цій теоретичній моделі рішень, і що баєсове висновування не повинне завершуватися оцінкою та узагальненням апостеріорних переконань.

Правдоподібництво підходить до статистики з використанням функції правдоподібності. Деякі правдоподібники відкидають висновування, розглядаючи статистику лише як обчислювання підтримки свідченнями. Інші, проте, пропонують висновування на основі функції правдоподібності, найвідомішим з яких є оцінювання максимальною правдоподібністю.

Інформаційний критерій Акаіке (ІКА, англ. Akaike information criterion, AIC) — це оцінювач відносної якості статистичних моделей для заданого набору даних. Для заданого набору моделей для цих даних ІКА оцінює якість кожної з них, по відношенню до кожної іншої з цих моделей. Таким чином, ІКА забезпечує засоби обирання моделі.

ІКА ґрунтується на теорії інформації: він пропонує оцінку відносних втрат інформації при застосуванні заданої моделі для представлення процесу, що породив дані. (Роблячи це, він працює на компромісом між допасованістю моделі та її простотою.)

Принцип мінімальної довжини опису (МДО, англ. minimum description length, MDL) було розроблено з ідей із теорії інформації[45] та теорії колмогоровської складності.[46] Принцип МДО обирає статистичні моделі, що максимально стискають дані; висновування відбувається без розгляду «механізмів породження даних» або моделей ймовірності, що суперечать даним або є неспростовними, як це може робитися в частотницькому або баєсовому підходах.

Тим не менш, якщо «механізм породження даних» існує в реальності, то згідно шеннонівської теореми про кодування джерела він пропонує МДО-опис даних, в середньому та асимптотично.[47] В мінімізації довжини опису (або описової складності) оцінка МДО є подібною до оцінки максимальної правдоподібності та оцінки апостеріорного максимуму (з використанням баєсових апріорних з максимальною ентропією). Хоча МДО й уникає припущення, що ймовірнісна модель, що лежить в основі даних, є відомою, принцип МДО також може застосовуватися й без припущень, наприклад, що дані походять з незалежної вибірки.[47][48]

Принцип МДО застосовувався в комунікаційній теорії кодування в теорії інформації, в лінійній регресії[48] та добуванні даних.[46]

Виконання висновувальних процедур на основі МДО часто використовує методики та критерії з теорії складності обчислень.[49]

Фідуційне висновування було підходом до статистичного висновування на основі фідуційної ймовірності, відомої також як «фідуційний розподіл». У подальших працях цей підхід було названо недовизначеним, надзвичайно обмеженим у застосовності та навіть помилковим.[50][51] Хоча ця аргументація є такою ж, як і та, що показує,[52] що так званий розподіл довіри не є чинним розподілом імовірності, та, оскільки це не позбавило чинності застосування довірчих проміжків, воно не обов'язково позбавляє чинності висновки, отримувані з фідуційної аргументації. Було вчинено спробу повторно інтерпретувати ранні праці з фідуційної аргументації Фішера як окремий випадок теорії висновування із застосуванням верхніх та нижніх імовірностей.[53]

Розвиваючи ідеї Фішера та Пітмана з 1938 по 1939 рік,[54] Джордж Барнард розробив «структурне висновування» (англ. structural inference) або «центральне висновування» (англ. pivotal inference),[55] підхід, що використовує інваріантні ймовірності на групових сімействах (англ. group family). Барнард переформулював аргументацію, що стояла за фідуційним висновуванням, на обмеженому класі моделей, на якому «фідуційні» процедури були би добре визначеними та корисними.