Оптимізація гіперпараметрів

Традиційним методом оптимізації гіперпараметрів є пошук по ґратці (або варіація параметрів), який просто робить повний перебір по заданій вручну підмножині простору гіперпараметрів навчального алгоритму. Пошук по ґратці повинен супроводжуватися деякою мірою продуктивності, зазвичай для порівняння використовують перехресне затверджування на тренувальному наборі[3], або оцінкою на фіксованому перевірочному наборі (англ. holdout set)[4].

Оскільки простір параметрів алгоритму машинного навчання для деяких параметрів може включати простори з дійсними або необмеженими значеннями, тому можлива ситуація, коли необхідно задати границю і дискретизацію до застосування пошуку по ґратці.

Наприклад, типовий класифікатор з не щільним зазором на основі методу опорних векторів (МОВ) та з ядровою радіально-базисною функцією має принаймні два гіперпараметри, які необхідно налаштувати для високої продуктивності на недоступних даних — константа C регуляризації і гіперпараметр ядра γ. Обидва параметри є неперервними, так що для пошуку по ґратці вибирають скінченну множину «обґрунтованих» значень, скажімо:

${\displaystyle C\in \{10,100,1000\}}$

${\displaystyle \gamma \in \{0.1,0.2,0.5,1.0\}}$

Пошук по ґратці потім проганяє МОВ для кожної пари (C, γ) по декартовому добутку цих двох множин і перевіряє продуктивність на кожній парі вибраних параметрів на фіксованому перевірочному наборі (або за допомогою внутрішнього перехресного затверджування на тренувальному наборі і в цьому випадку кілька МОВ проганяють попарно). Нарешті, алгоритм пошуку по ґратці видає як результат найвищий результат, який було досягнуто на процедурі перевірки.

Пошук по ґратці страждає від прокляття розмірності, але часто легко розпаралелюється, оскільки зазвичай гіперпараметричні величини, з якими алгоритм працює, не залежать одна від одного[2].

Випадковий пошук замінює повний перебір всіх комбінацій на їх випадковий вибір. Це можна легко застосувати до дискретних випадків, наведених вище, але метод можна узагальнити на неперервні та змішані простори. Випадковий пошук може перевершити пошук по ґратці, особливо, якщо лише мала кількість гіперпараметрів впливає на продуктивність алгоритму машинного навчання[2]. У цьому випадку кажуть, що завдання оптимізації має низьку внутрішню розмірність[5]. Випадковий пошук також легко паралелізується і, крім того, можливе використання попередніх даних через вибір розподілу для вибірки випадкових параметрів.

Байєсова оптимізація — це метод глобальної оптимізації для невідомої функції (чорного ящика) з шумом. Застосована до гіперпараметричної оптимізації байєсівська оптимізація будує стохастичну модель функції відображення зі значень гіперпараметру в цільову функцію, застосовану на затверджувальному наборі. Шляхом ітеративного застосування перспективної конфігурації гіперпараметрів, заснованої на поточній моделі, а потім її оновлення, байєсівську оптимізація прагне зібрати якомога більше інформації про цю функцію і, зокрема, місце оптимуму. Метод намагається збалансувати дослідження (гіперпараметри, для яких результат найменш достеменно відомо) і використання (гіперпараметри, які, як очікується, найбільш близькі до оптимуму). На практиці байєсівська оптимізація показала[6][7][8][9] кращі результати з меншими обчисленнями в порівнянні з пошуком по ґратці та випадковим пошуком завдяки можливості судження про якість експериментів ще до їх виконання.

Для конкретних алгоритмів навчання можна обчислити градієнт гіперпараметрів і оптимізувати їх за допомогою градієнтного спуску. Перше використання таких технік зосереджувалось на нейронних мережах[10]. Потім ці методи були поширені на інші моделі, такі як метод опорних векторів[11] або логістична регресія[12].

Інший підхід використання градієнтів гіперпараметрів полягає в диференціюванні кроків алгоритму ітеративної оптимізації за допомогою автоматичного диференціювання[13][14].

Еволюційна оптимізація — це методологія для глобальної оптимізації невідомих функцій з шумом. При оптимізації гіперпараметрів еволюційна оптимізація використовує еволюційні алгоритми для пошуку гіперпараметрів для даного алгоритму[7]. Еволюційна оптимізація гіперпараметрів дотримується процесу, навіяного біологічною концепцією еволюції:

1. Створюємо початкову популяцію випадкових рішень (тобто генеруємо випадковий кортеж гіперпараметрів, зазвичай 100+)
2. Оцінюємо кортежі гіперпараметрів і отримуємо їх функцію допасованості (наприклад, за допомогою 10-кратної точності перехресного затверджування алгоритму машинного навчання з цими гіперпараметрами)
3. Ранжируємо кортежі гіперпараметрів по їх відносній придатності
4. Замінюємо кортежі гіперпараметрів з гіршою продуктивністю на нові кортежі гіперпараметрів, утворених схрещуванням і мутацією
5. Повторюємо кроки 2-4, поки не отримаємо задовільну продуктивність алгоритму або поки продуктивність не перестане поліпшуватися

Еволюційна оптимізація використовується для оптимізації гіперпараметрів для статистичних алгоритмів[7] автоматизованого машинного навчання, для пошуку архітектури глибоких нейронних мереж[15][16], а також для формування ваг в глибоких нейронних мережах[17].

Навчання на основі заселення (англ. Population Based Training) вивчає як значення гіперпараметрів, так і ваги мережі. Кілька процесів навчання працюють незалежно, використовуючи різні гіперпараметри. Моделі, які погано працюють ітеративно замінюються моделями, які використовують модифіковані значення гіперпараметрів кращого виконавця. Модифікація дозволяє еволюційно змінювати гіперпараметри і виключає необхідність ручного налаштування гіперпараметрів. Процес не робить припущень щодо архітектури моделі, функції втрат чи процедури навчання[18].

Відбувається також розвиток методів на основі радіально-базисної функції[19] (РБФ) і спектрального методу[20].

• scikit-learn — це пакет на мові Python, який містить пошук по ґратці.
• Talos містить пошук по ґратці для пакета Keras.
• LIBSVM має скрипт для здійснення пошуку по ґратці.

• hyperopt через hyperas і hyperopt-sklearn — це пакети на мові Python, які містять випадковий пошук.
• scikit-learn — пакет на мові Python, що містить випадковий пошук.
• Talos містить випадковий пошук з налаштуваннями для Keras.
• H2O AutoML забезпечує автоматичну підготовку даних, налаштування гіперпараметрів випадковим пошуком і багаторівневі збірки в розподіленій платформі машинного навчання.

• Auto-sklearn[21] — шар для байєсівської оптимізації поверх scikit-learn.
• Ax[22] експериментальна платформа на Python, яка підтримує Байєсову оптимізацію як дослідницьку стратегію.
• Auto-WEKA — шар для байєсівської оптимізації поверх WEKA.
• Bayesopt — ефективна імплементація байєсівської оптимізації на C/C++ з підтримкою Python, Matlab і Octave.
• BOCS — пакет Matlab, який використовує напіввизначене програмування для мінімізації невідомої функції при дискретних вхідних даних[23]. Містить також імплементацію для Python 3.
• HpBandSter — пакет на Python, який комбінує Байєсову оптимізацію зі стохастичними методами однорукого бандита.[24]
• mlrMBO з mlr — це пакет на мові R для байєсівської оптимізації або для оптимізації на основі моделі невідомої функції (чорний ящик).
• MOE — це бібліотека для Python, C++ і системи паралельних обчислень CUDA, імплементує Байєсова глобальну оптимізацію, використовуючи гаусові процеси.
• scikit-optimize — пакет на Python або послідовна модель оптимізації з інтерфейсом scipy.optimize.[25]
• SMAC — бібліотека на мовах Python/Java, імплементує Байєсову оптимізацію[26].
• Spearmint — це пакет для байєсівської оптимізації алгоритмів машинного навчання.
• tuneRanger — це пакет на мові R для налаштування випадкових лісів з використанням оптимізації на базі моделі.

• hypergrad — це пакет на мові Python для диференціювання по гіперпараметрам.

• devol — це пакет на мові Python, який здійснює пошук архітектури глибокої нейронної мережі за допомогою генетичного програмування.
• deap — гнучкий фреймворк на Python для загальних еволюційних обчислень, він об'єднаний з пакетами розпаралелювання, такими як scoop і pyspark та іншими Python фреймворками, на зразок scikit-learn через sklearn-deap.
• nevergrad[27] — пакет на мові Python, який включає методи контролю популяції та оптимізацію рою.[28]
• TPOT — пакет на мові Python, який автоматично створює і оптимізує весь процес машинного навчання за допомогою генетичного програмування.

• dlib[29] — пакет на C++ з Python API, який має оптимізатор без параметрів LIPO та оптимізатор довірчої області, які працюють разом.[30]
• Harmonica — пакет на Python для спектральної оптимізації гіперпараметрів[20].
• hyperopt через hyperas і hyperopt-sklearn — це пакети Python, які включають заснований на дереві парзеновскіх оцінок алгоритм оптимізації розподілених гіперпараметрів.
• nevergrad[27] — пакет на Python для оптимізації без градієнтів з використанням таких методів, як диференційна еволюція, послідовне квадратичне програмування, fastGA, адаптація коваріаційної матриці, методи популяційного контролю і оптимізація рою частинок[28].
• nni — пакет на Python, який включає налаштування гіперпараметрів для нейронних мереж в локальних і розподілених середовищах. Серед його методів TPE, випадкові, відпалу, еволюційні, SMAC, пакетні, ґратки і гіпербенд.
• pycma — це імплементація на мові Python алгоритму адаптації коваріаційної матриці (англ. Covariance Matrix Adaptation Evolution Strategy).
• rbfopt — пакет на мові Python, що використовує модель радіально-базисної функції[19].
• SUMO-Toolbox — набір інструментів MATLAB для сурогатного моделювання, що підтримує широкий набір гіперпараметрів оптимізаційних алгоритмів для багатьох типів моделей.