Напівавтоматичне навчання

Точки, які лежать близько одна від одної помарковані однаково з більшою імовірністю. Таке саме припущення здебільшого використовується і в навчанні з учителем і дає перевагу у використанні геометрично простих рішень. У випадку напівавтоматичного навчання, припущення плавності додатково дає перевагу для розмежування в регіонах з низькою щільністю, де є менше точок, які розташовані близько одна від одної, але різних класів.

Дані, як правило, утворюють дискретні кластери, і точки з одного кластеру помарковані однаково з більшою імовірністю (хоча дані, які використовують однакові мітки, можуть бути розташовані у декількох різних кластерах). Це особливий випадок припущення плавності, який призводить до навчання ознак використовуючи алгоритми кластеризації.

Дані зібрані приблизно у многовиді з набагато меншою розмірністю, ніж вхідний простір. У цьому випадку ми можемо спробувати вивчити многовид використовуючи як помарковані так і немарковані дані для того, щоб уникнути прокляття розмірності. Тоді навчання може протікати з використанням відстаней і щільностей, визначених на многовиді.

Припущення многовидності має практичне застосування, коли багатовимірні дані генеруються певним процесом, який важко безпосередньо змоделювати, але який має тільки декілька ступенів відхилення. Наприклад, людський голос контролюється декількома голосовими зв'язками,[2] а зображення різних виразів обличчя контролюються декількома м'язами. У цих випадках нам зручніше використовувати відстані та плавності в природному просторі проблеми генерування, ніж у просторі всіх можливих акустичних хвиль або зображень, відповідно.

Генеративні підходи до статистичного вивчення в першу чергу прагнуть оцінити ${\displaystyle p(x|y)}$, розподіл точок даних кожного класу. Імовірність ${\displaystyle p(y|x)}$ така, що дана точка ${\displaystyle x}$ має мітку ${\displaystyle y}$, буде пропорційною до ${\displaystyle p(x|y)p(y)}$ за теоремою Баєса. Напівавтоматичне навчання з використанням генеративних підходів можна розглядати або як розширення навчання з учителем (класифікація та інформація про ${\displaystyle p(x)}$), або як розширення навчання без учителя (кластеризація та деякі мітки).

Генеративні моделі припускають, що розподіли приймають певну форму ${\displaystyle p(x|y,\theta )}$ , параметризовану вектором ${\displaystyle \theta }$ . Якщо ці припущення є неправильними, то немарковані дані можуть фактично знизити точність рішення у порівнянні з тим, яке було б отримано тільки з помаркованих даних.[7] Проте, якщо ці припущення правильні, то немарковані дані обов'язково підвищать результативність.[5]

Немарковані дані розподілені відповідно до суміші індивідуально-класових розподілів. Для того, щоб розподіл суміші з немаркованих даних підлягав вивченню, ці дані мають бути упізнаваними, тобто різні параметри повинні призводити до різних підсумкових розподілів. Розподіли гаусової суміші є упізнаваними та зазвичай використовуються у генеративних моделях.

Параметризований спільний розподіл можна записати у вигляді ${\displaystyle p(x,y|\theta )=p(y|\theta )p(x|y,\theta )}$ за допомогою ланцюгового правила. Кожен вектор ${\displaystyle \theta }$ пов'язаний з функцією ${\displaystyle f_{\theta }(x)={\underset {y}{\operatorname {argmax} }}\ p(y|x,\theta )}$. Потім параметр вибирається на основі підгонки як до помаркованих там і до немаркованих даних, урівноважених за допомогою ${\displaystyle \lambda }$:

${\displaystyle {\underset {\Theta }{\operatorname {argmax} }}\left(\log p(\{x_{i},y_{i}\}_{i=1}^{l}|\theta )+\lambda \log p(\{x_{i}\}_{i=l+1}^{l+u}|\theta )\right)}$

[8]

Це ще один важливий клас методів, який намагається розмежувати регіони, у яких є декілька точок з даними (помаркованими чи немаркованими). Одним з найбільш часто використовуваних алгоритмів є трансдуктивний метод опорних векторів, або ТМОВ (який, незважаючи на назву, може також бути використаним для індуктивного навчання). У той час як метод опорних векторів для навчання з учителем шукає рішення крайової з максимальною маржею у помаркованих даних, метою ТМОВ є позначення немаркованих даних таким чином, що рішення крайової має максимальну маржу у порівнянні з усіма даними. На додаток до стандартної петлі втрати ${\displaystyle (1-yf(x))_{+}}$ для помаркованих даних, функція втрат ${\displaystyle (1-|f(x)|)_{+}}$ вводиться і для немаркованих даних, позначивши ${\displaystyle y=\operatorname {sign} {f(x)}}$. ТМОВ потім вибирає ${\displaystyle f^{*}(x)=h^{*}(x)+b}$ з гільбертового простору відтворюваного ядра ${\displaystyle {\mathcal {H}}}$ шляхом мінімізації регуляризованого емпіричного ризику:

${\displaystyle f^{*}={\underset {f}{\operatorname {argmin} }}\left(\displaystyle \sum _{i=1}^{l}(1-y_{i}f(x_{i}))_{+}+\lambda _{1}||h||_{\mathcal {H}}^{2}+\lambda _{2}\sum _{i=l+1}^{l+u}(1-|f(x_{i})|)_{+}\right)}$

Точне рішення є нерозв'язним через неопуклий член ${\displaystyle (1-|f(x)|)_{+}}$, тому дослідження зосереджені на пошуку корисних наближень.[8]

Інші підходи, які здійснюють розподіл низької щільності, включають в себе моделі гаусового процесу, впорядкування інформації, та мінімізацію ентропії (з яких ТМОВ є окремим випадком).

Методи на основі графів для напівавтоматичного навчання використовують дані, представлені за допомогою графа, з вузлом для кожного помаркованого або немаркованого прикладу. Граф може бути побудований з використанням знань в предметній області або на основі подібності прикладів. Два загальні підходи включають з'єднання кожної точки даних з її ${\displaystyle k}$ найближчими сусідами або з прикладами на відстані в межах ${\displaystyle \epsilon }$. Вага ${\displaystyle W_{ij}}$ ребра між ${\displaystyle x_{i}}$ й ${\displaystyle x_{j}}$ встановлюється рівною ${\displaystyle e^{\frac {-||x_{i}-x_{j}||^{2}}{\epsilon }}}$.

В рамках регуляризації многовидності [9] [10] граф служить як представник многовидності. Вираз додається до стандартної задачі регуляризації Тихонова для забезпечення гладкості рішення щодо многовидності (у власному просторі задачі), а також навколишнього вхідного простору. Завданням мінімізації стає:

${\displaystyle {\underset {f\in {\mathcal {H}}}{\operatorname {argmin} }}\left({\frac {1}{l}}\displaystyle \sum _{i=1}^{l}V(f(x_{i}),y_{i})+\lambda _{A}||f||_{\mathcal {H}}^{2}+\lambda _{I}\int _{\mathcal {M}}||\nabla _{\mathcal {M}}f(x)||^{2}dp(x)\right)}$ [8]

де ${\displaystyle {\mathcal {H}}}$ — це гільбертів простір відтворюваного ядра, а ${\displaystyle {\mathcal {M}}}$ — многовид з даними. Параметри регуляризації ${\displaystyle \lambda _{A}}$ та ${\displaystyle \lambda _{I}}$ контролюють гладкість у довколишніх та внутрішніх просторах відповідно. Граф використовується для апроксимації внутрішнього регуляризуючого члена. Визначивши матрицю Кірхгофа ${\displaystyle L=D-W}$, де ${\displaystyle D_{ii}=\sum _{j=1}^{l+u}W_{ij}}$ та ${\displaystyle \mathbf {f} }$ вектор ${\displaystyle [f(x_{1})\dots f(x_{l+u})]}$, отримуємо:

${\displaystyle \mathbf {f} ^{T}L\mathbf {f} =\displaystyle \sum _{i,j=1}^{l+u}W_{ij}(f_{i}-f_{j})^{2}\approx \int _{\mathcal {M}}||\nabla _{\mathcal {M}}f(x)||^{2}dp(x)}$

Деякі з методів напівавтоматичного навчання не пристосовані для використання одночасно як помаркованих так і немаркованих даних, але натомість можуть залучати немарковані дані для навчання з учителем. Наприклад, помарковані та немарковані приклади ${\displaystyle x_{1},\dots ,x_{l+u}}$ можуть інформувати про спосіб представлення, метрику, або ядра даних на першому кроці без учителя. Тоді навчання з учителем опрацьовує лише помарковані приклади.

Самонавчання — метод-обгортка напівавтоматичного навчання. [11] Спочатку навчання з учителем опрацьовує лише помарковані дані. Цей класифікатор потім застосовується до немаркованих даних, щоб згенерувати більше помаркованих прикладів для навчання з учителем. Загалом, можна бути певним, що лише мітки класифікатора додаються на кожному кроці. [12]

Спільне навчання є розширенням самонавчання, при якому декілька класифікаторів опрацьовують різні (в ідеалі, непересічні) множини ознак і генерують помарковані приклади один для другого. [13]