Перехресне затверджування

Припустімо, що в нас є модель з одним чи більше невідомими параметрами, та набір даних, до якого цю модель можливо допасувати (тренувальний набір даних). Процес допасовування оптимізує ці параметри моделі, щоби зробити модель якнайкраще допасованою до цих тренувальних даних. Якщо ми потім візьмемо незалежну вибірку затверджувальних даних з тої ж сукупності, з якої було взято й тренувальні дані, то, як правило, виявиться, що ця модель не допасовується до затверджувальних даних так же добре, як вона допасовується до даних тренувальних. Розмір цієї різниці може бути великим, особливо коли розмір тренувального набору даних є малим, або коли число параметрів моделі є великим. Перехресне затверджування є одним зі способів оцінити розмір цього ефекту.

В лінійній регресії ми маємо дійсні значення відгуку y₁, ..., y_n, та n p-вимірних векторних коваріат x₁, ..., x_n. Компоненти вектора x_i позначують через x_i1, ..., x_ip. Якщо ми використовуємо найменші квадрати, щоби допасувати функцію в вигляді гіперплощини ŷ = a + β^Tx до даних (x_i, y_i) _{1 ≤ i ≤ n}, то ми можемо оцінювати допасованість, застосовуючи середньоквадратичну похибку (СКП, англ. mean squared error, MSE). СКП для заданих оцінюваних значень параметрів a та β на тренувальному наборі (x_i, y_i) _{1 ≤ i ≤ n} визначено як

${\displaystyle MSE={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-a-{\boldsymbol {\beta }}^{T}\mathbf {x} _{i})^{2}={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-a-\beta _{1}x_{i1}-\dots -\beta _{p}x_{ip})^{2}}$

Якщо модель вказано правильно, то за м'яких припущень може бути показано, що математичне сподівання СКП для тренувального набору становить (n − p − 1)/(n + p + 1) < 1 на математичне сподівання СКП для затверджувального набору[11] (математичне сподівання береться над розподілом тренувальних наборів). Таким чином, якщо ми допасуємо модель й обчислимо СКП на тренувальному наборі, то ми отримаємо оптимістично упереджену оцінку того, наскільки добре ця модель допасовуватиметься на незалежному наборі даних. Цю упереджену оцінку називають внутрішньовибірковою (англ. in-sample) оцінкою допасованості, тоді як оцінку перехресного затверджування називають позавибірковою (англ. out-of-sample) оцінкою.

Оскільки в лінійній регресії можливо безпосередньо обчислювати коефіцієнт (n − p − 1)/(n + p + 1), на який тренувальна СКП недооцінює затверджувальну СКП за припущення, що модель вказано правильно, то перехресне затверджування можливо застосовувати, щоби перевіряти, чи не було модель перенавчено, в разі чого СКП у затверджувальному наборі значно перевищуватиме її очікуване значення. (Перехресне затверджування в контексті лінійної регресії також корисне тим, що його можливо використовувати, щоби обирати оптимально регуляризовану функцію витрат.) В більшості інших регресійних процедур (наприклад, в логістичній регресії) простої формули для обчислення очікуваної позавибіркової допасованості не існує. Перехресне затверджування, відтак, є загально застосовним способом передбачувати продуктивність моделі на недоступних даних із застосуванням чисельних обчислень замість теоретичного аналізу.

Може бути вирізнено два типи перехресного затверджування: вичерпне (англ. exhaustive) та невичерпне (англ. non-exhaustive).

Перехресне затверджування з виключенням по одному

Ілюстрація перехресного затверджування з виключенням по одному (ПЗВПО), коли n = 8 спостережень. Загалом буде натреновано та випробувано 8 моделей.

Перехресне затверджування з виключенням по одному (ПЗВПО, англ. leave-one-out cross-validation, LOOCV) — це окремий випадок перехресного затверджування з виключенням по p із p = 1. Цей процес виглядає подібним до складаного ножа, проте при перехресному затверджуванні обчислюють статистику на виключених зразках, тоді як при складаноножуванні обчислюють статистику лише для залишених зразків.

Перехресне затверджування ВПО вимагає меншого обчислювального часу, ніж ВПp, оскільки має лише ${\displaystyle C_{1}^{n}=n}$ проходів замість ${\displaystyle C_{p}^{n}}$. Проте ${\displaystyle n}$ проходів все одно можуть вимагати вельми великого обчислювального часу, в разі чого доречнішими можуть бути інші підходи, такі як k-кратне перехресне затверджування.[14]

Псевдокодовий алгоритм:

Вхід:

x, {вектор довжини N зі значеннями x точок входу}

y, {вектор довжини N зі значеннями y очікуваного результату}

interpolate(x_in, y_in, x_out), { повертає оцінку для точки x_out після того, як модель було натреновано на парах x_in—y_in}

Вихід:

err, {оцінка похибки передбачування}

Кроки:

 err ← 0
 for i ← 1, ..., N do
   // визначити піднабори перехресного затверджування
   x_in ← (x[1], ..., x[i − 1], x[i + 1], ..., x[N])
   y_in ← (y[1], ..., y[i − 1], y[i + 1], ..., y[N])
   x_out ← x[i]
   y_out ← interpolate(x_in, y_in, x_out)
   err ← err + (y[i] − y_out)^2
 end for
 err ← err/N

k-кратне перехресне затверджування

Ілюстрація k-кратного перехресного затверджування, коли n = 12 спостережень, а k = 3. Після перетасовування даних, загалом буде натреновано й випробувано 3 моделі.

В k-кратнім перехреснім затверджуванні (англ. k-fold cross-validation) первинну вибірку випадково розбивають на k підвибірок однакового розміру. З цих k підвибірок одну підвибірку притримують як затверджувальні дані для випробування моделі, а решту k − 1 вибірок використовують як тренувальні дані. Потім процес перехресного затверджування повторюють k разів, використовуючи кожну з k підвибірок як затверджувальні дані рівно один раз. Відтак ці k результатів може бути усереднено, щоби отримати єдину оцінку. Перевагою цього методу перед повторюваним випадковим взяттям підвибірок (див. нижче) є те, що як для тренування, так і для затверджування використовують всі спостереження, й кожне спостереження використовують для затверджування рівно один раз. Зазвичай використовують 10-кратне затверджування,[15] але загалом k залишається вільним параметром.

Наприклад, встановлення k = 2 призводить до 2-кратного перехресного затверджування. У 2-кратнім перехреснім затверджуванні ми випадково розкида́ємо набір даних на два набори d₀ та d₁ таким чином, що обидва мають однакові розміри (це зазвичай втілюють через перетасовування масиву даних та поділ його навпіл). Потім ми тренуємо на d₀ й затверджуємо на d₁, після чого тренуємо на d₁ й затверджуємо на d₀.

Коли k = n (числу спостережень), k-кратне перехресне затверджування є рівнозначним перехресному затверджуванню з виключенням по одному.[16]

В стратифікованім (англ. stratified) k-кратнім перехреснім затверджуванні частини обирають таким чином, щоби середнє значення відгуку було приблизно рівним в усіх частинах. У випадку бінарної класифікації це означає, що кожна частина містить приблизно однакову пропорцію двох типів міток класу.

У повторюванім (англ. repeated) перехреснім затверджуванні дані випадково ділять на k частин декілька разів. Продуктивність моделі відтак може бути усереднено над декількома проходами, але на практиці це рідко є бажаним.[17]

Коли перехресне затверджування використовують одночасно для обирання найкращого набору гіперпараметрів та для оцінювання похибки (та здатності до узагальнювання), необхідним є вкладене перехресне затверджування (англ. nested cross-validation). Варіантів існує багато. Можливо виділити щонайменше два варіанти:

Метою перехресного затверджування є оцінити очікуваний рівень допасованості моделі до набору даних, що є незалежним від даних, які було використано для тренування моделі. Його можливо використовувати для оцінювання кількісної міри допасованості, що є властивою цим даним та моделі. Наприклад, для задач бінарної класифікації кожен випадок у затверджувальному наборі є передбаченим або правильно, або неправильно. В такій ситуації для підбивання підсумку допасованості можливо використовувати рівень похибки неправильної класифікації, хоча також можливо використовувати й інші міри, такі як прогностична значущість позитивного результату. Коли передбачуване значення є розподіленим неперервно, для підсумовування похибок можливо використовувати середньоквадратичну похибку, кореневе середньоквадратичне відхилення чи медіану абсолютних відхилень.

Коли користувачі застосовують перехресне затверджування для обирання доброї конфігурації ${\displaystyle \lambda }$, то вони можуть хотіти збалансовувати вибір перехресного затверджування з їхньою власною оцінкою конфігурації. Таким чином, вони можуть намагатися протистояти мінливості перехресного затверджування, коли розмір вибірки є малим, й включати доречну інформацію з попередніх досліджень. Наприклад, у вправі поєднування прогнозів, перехресне затверджування можливо застосовувати для оцінювання ваг, призначуваних кожному з прогнозів. Оскільки простий рівнозважений прогноз важко перемогти, на відхилення від рівних ваг може бути запроваджено штраф.[23] Або, якщо перехресне затверджування застосовують для призначування індивідуальних ваг спостереженням, то можливо штрафувати відхилення від рівних ваг, щоб уникати марнування потенційно доречної інформації.[23] Гурнвеґ (2018) показує, як можливо визначити параметр налаштування ${\displaystyle \gamma }$ таким чином, щоби користувач міг інтуїтивно балансувати між точністю перехресного затверджування та просторою дотримування еталонного параметру ${\displaystyle \lambda _{R}}$, визначеного користувачем.

Якщо ${\displaystyle \lambda _{i}}$ позначує ${\displaystyle i}$-ту конфігурацію-кандидата, яку могло би бути обрано, то функцію втрат для мінімізування може бути визначено як

${\displaystyle L_{\lambda _{i}}=(1-\gamma ){\mbox{ Relative Accuracy}}_{i}+\gamma {\mbox{ Relative Simplicity}}_{i}.}$

Відносну точність (англ. relative accuracy) може бути виражено кількісно як ${\displaystyle {\mbox{MSE}}(\lambda _{i})/{\mbox{MSE}}(\lambda _{R})}$, так що середньоквадратичну похибку кандидата ${\displaystyle \lambda _{i}}$ роблять відносною до визначеної користувачем ${\displaystyle \lambda _{R}}$. Член відносної простоти (англ. relative simplicity) вимірює величину, на яку ${\displaystyle \lambda _{i}}$ відхиляється від ${\displaystyle \lambda _{R}}$, по відношенню до максимальної величини відхилення від ${\displaystyle \lambda _{R}}$. Відповідно, відносну простоту може бути вказано як ${\displaystyle {\frac {(\lambda _{i}-\lambda _{R})^{2}}{(\lambda _{\max }-\lambda _{R})^{2}}}}$, де ${\displaystyle \lambda _{\max }}$ відповідає значенню ${\displaystyle \lambda }$ з найбільшим допустимим відхиленням від ${\displaystyle \lambda _{R}}$. За допомогою ${\displaystyle \gamma \in [0,1]}$ користувач встановлює, наскільки сильним є вплив еталонного параметру по відношенню до перехресного затверджування.

Можливо додавати члени відносної простоти для декількох конфігурації ${\displaystyle c=1,2,...,C}$, вказавши функцію втрат як

${\displaystyle L_{\lambda _{i}}={\mbox{ Relative Accuracy}}_{i}+\sum _{c=1}^{C}{\frac {\gamma _{c}}{1-\gamma _{c}}}{\mbox{ Relative Simplicity}}_{i,c}.}$

Гурнвеґ (2018) показує, що функцію втрат з таким компромісом точності-простоти також можливо використовувати, щоби інтуїтивно визначати стискальну оцінку на кшталт (адаптивного) LASSO та баєсової / хребтової регресії.[23] Див. приклад у LASSO.

Припустімо, що ми обираємо міру допасованості F, й використовуємо перехресне затверджування, щоби виробити оцінку F^* математичного сподівання допасованості (англ. expected fit) EF моделі до незалежного набору даних, вибраного з тієї ж генеральної сукупності, що й тренувальні дані. Якщо ми уявимо вибирання декількох незалежних тренувальних наборів, що слідують одному й тому ж розподілові, то значення результату F^* будуть мінливими. Статистичні властивості F^* випливають із цієї мінливості.

Перехресно-затверджувальний оцінювач F^* є майже-майже незміщеним для EF.[24]^{[джерело?]} Причиною того, що він є злегка зміщеним, є те, що тренувальний набір у перехреснім затверджуванні є дещо меншим за справжній набір даних (наприклад, для ПЗВПО розмір тренувального набору становить n − 1 за кількості спостережених випадків n). Майже в усіх випадках вплив цього зміщення буде консервативним, в тому сенсі, що оцінена допасованість буде злегка зміщеною в напрямку підказування гіршої допасованості. На практиці це зміщення рідко стає предметом занепокоєння.

Дисперсія F^* може бути великою.[25][26] З цієї причини, якщо дві статистичні процедури порівнюють на основі перехресного затверджування, процедура з кращою оцінюваною продуктивність може насправді не бути кращою з цих двох (тобто, вона може не мати кращого значення EF). Було досягнуто певного прогресу в побудові довірчих проміжків навколо оцінок перехресного затверджування,[25] але це вважають складною проблемою.

Більшість форм перехресного затверджування є прямолінійними для втілення, доки є доступним втілення досліджуваного методу передбачування. Зокрема, метод передбачування може бути «чорною скринькою», — немає потреби мати доступ до нутрощів його втілення. Якщо метод передбачування є витратним для тренування, то перехресне затверджування може бути повільним, оскільки тренування мусить здійснюватися багаторазово. В деяких випадках, таких як найменші квадрати та ядрова регресія, перехресне затверджування можливо значно прискорити, обчислюючи попередньо деякі значення, що є потрібними в тренуванні багаторазово, або використовуючи швидкі «правила уточнення», такі як формула Шермана — Моррісона. Проте, слід бути обережними, щоби зберегти «повне засліплення» затверджувального набору від тренувальної процедури, бо інакше може виникнути зміщення. Крайній випадок прискорення перехресного затверджування трапляється в лінійній регресії, де результати перехресного затверджування є виразом замкненого вигляду, відомим як сума квадратів похибок передбачуваних залишків (англ. prediction residual error sum of squares, PRESS).

Перехресне затверджування видає змістовні результати лише якщо затверджувальний та тренувальний набори вибирають з однієї й тієї ж генеральної сукупності, й лише якщо людське упередження перебуває під контролем.

В багатьох застосуваннях передбачувального моделювання структура досліджуваної системи еволюціює з часом (тобто, є «нестаціонарною»). І те, й друге може привносити систематичні відмінності між тренувальним та затверджувальним наборами. Наприклад, якщо модель для передбачування вартості акцій тренують на даних за певний п'ятирічний період, то буде нереалістичним розглядати наступний п'ятирічний період як вибраний з тієї ж генеральної сукупності. Як інший приклад, розгляньмо модель, що розробляють для передбачування ризику особи отримати діагноз певної хвороби протягом наступного року. Якщо модель тренують, використовуючи дані дослідження, що охоплює лише специфічну групу населення (наприклад, молодих людей, або чоловіків), але потім застосовують до населення в цілому, то результати перехресного затверджування з тренувального набору можуть відрізнятися від дійсної передбачувальної продуктивності дуже сильно.

В багатьох застосування також може бути неправильно вказано моделі, або вони можуть змінюватися залежно від упередженості моделювальника та/або випадкового вибору. Коли таке трапляється, може виникати ілюзія, що система змінюється в зовнішніх вибірках, тоді як причиною є те, що модель пропустила критичний передбачувач, та/або включила передбачувач, збитий з пантелику. Нові дані свідчать, що перехресне затверджування саме по собі є не дуже передбачувальним для зовнішньої застосовності, тоді як один з видів експериментального затверджування, відомий як обмінне вибирання (англ. swap sampling), що контролює людське упередження, може мати щодо неї значно кращу передбачувальну здатність.[27] Як визначено цим великим дослідженням MAQC-II для 30 000 моделей, обмінне вибирання містить в собі перехресне затверджування в тому сенсі, що передбачування випробовують на незалежних тренувальній та затверджувальній вибірках. До того ж, моделі також і розробляють на цих незалежних вибірках, і моделювальниками, що не знають одні про одних. Коли між цими моделями, розробленими на цих обмінюваних тренувальному та затверджувальному наборах, є невідповідність, що трапляється доволі часто, MAQC-II показує, що це значно краще передбачуватиме погану зовнішню продуктивність, ніж традиційне перехресне затверджування.

Причиною успішності обмінного вибирання є вбудований контроль людських упереджень в побудові моделей. На додачу до занадто великої віри у передбачування, яка може варіюватися між моделювальниками, і вести до поганої зовнішньої застосовності через ці сплутані впливи моделювальників, ось іще деякі неправильні способи використання перехресного затверджування:

• Виконання початкового аналізу для виявляння найінформативніших ознак із застосуванням всього набору даних, якщо обирання ознак або налаштування моделі вимагає процедура моделювання: це мусить бути повторювано на кожному тренувальному наборі. Інакше передбачування безумовно будуть зміщеними вгору.[28] Якщо для вирішування, яку ознаку використовувати, застосовувати перехресне затверджування, то для виконання обирання ознак на кожному тренувальному наборі мусить виконуватися внутрішнє перехресне затверджування (англ. inner cross-validation).[29]
• Дозволяння деяким з тренувальних даних входити й до випробувального набору: це може ставатися через «двійникування» в наборі даних, за якого в ньому міститься якась кількість повністю або майже ідентичних зразків. Двійникування до деякої міри завжди має місце навіть в ідеально незалежних тренувальних та затверджувальних вибірках. Це відбувається через те, що деякі зі спостережень тренувальної вибірки матимуть значення передбачувальних змінних, майже ідентичні до спостережень затверджувальної вибірки. І деякі з них корелюватимуть з ціллю на рівні, кращому за випадковий, в одному й тому ж напрямку як у тренуванні, так і в затверджуванні, будучи насправді керованими збуреними передбачувачами з поганою зовнішньою застосовністю. Якщо таку перехресно затверджену модель буде обрано з k-кратного набору, то спрацює людське підтверджувальне упередження, визначивши цю модель затвердженою. Ось чому традиційне перехресне затверджування потребує доповнення контролем людського упередження та збитого з пантелику визначення моделі, такого як обмінне вибирання, та перспективне дослідження.

Оскільки порядок даних є важливим, для моделей часових рядів перехресне затверджування може бути проблематичним. Доречнішим підходом може бути застосування ковзного перехресного затверджування (англ. rolling cross-validation).

Проте, якщо продуктивність описано єдиною зведеною статистикою, то, можливо, працюватиме підхід, що було описано Політісом та Романо як стаціонарну натяжку.[30] Статистиці натяжки потрібно приймати проміжок часового ряду й повертати зведену статистику на ньому. Виклик стаціонарної натяжки потребує вказування доречної середньої довжини проміжку.

Перехресне затверджування можливо використовувати для порівнювання продуктивності різних процедур передбачувального моделювання. Наприклад, припустімо, що нас цікавить оптичне розпізнавання символів, і для розпізнавання справжнього символу з зображення рукописного символу ми розглядаємо використання опорно-векторних машин (ОВМ) та k-найближчих сусідів (kНС). Застосовуючи перехресне затверджування, ми можемо об'єктивно порівняти ці два методи в термінах їхніх відповідних часток неправильно класифікованих символів. Якби ми просто порівняли ці методи на основі їхніх внутрішньовибіркових рівнів похибки, то, швидше за все, продуктивність методу kНС виглядала би кращою, оскільки від є гнучкішим, і відтак стійкішим до перенавчання^{[джерело?]} в порівнянні з методом ОВМ.

Перехресне затверджування також можливо застосовувати в обиранні змінних.[31] Припустімо, що ми використовуємо рівні експресії 20 білків, щоби передбачувати, чи відреагує пацієнт з раком на певні ліки. Однією з практичних цілей буде визначити, яку підмножину з 20 ознак слід використовувати для вироблення найкращої передбачувальної моделі. Для більшості процедур моделювання, якщо ми порівнюємо підмножини ознак, використовуючи внутрішньовибіркові рівні похибки, найкраща продуктивність досягатиметься при використанні всіх 20 ознак. Проте за перехресного затверджування модель із найкращою допасованістю в загальному випадку включатиме лише підмножину ознак, які вважаються справді інформативними.

Нещодавнім розширенням медичної статистики стало її застосування в метааналізі. Вона формує основу статистики обґрунтованості (англ. validation statistic), Vn, яку використовують, щоби випробовувати статистичну обґрунтованість підсумкових оцінок метааналізу.[32] Її також використовували в метааналізі у звичнішому сенсі, для оцінювання правдоподібної похибки передбачування результатів метааналізу.[33]

• Підсилювання (машинне навчання)
• Натяжкове агрегування (англ. bagging)
• Статистична натяжка
• Витік (машинне навчання)
• Обирання моделі
• Перевибірка (статистика)
• Стійкість (теорія навчання)
• Обґрунтованість