Передавальне навчання

1976 року Стево Бозіновський та Анте Фулгосі опублікували працю, в якій чітко розглянуто питання передавального навчання в тренуванні нейронних мереж.[4][5] У цій праці наведено математичну та геометричну модель передавального навчання. 1981 року було зроблено звіт про застосування передавального навчання в тренуванні нейронної мережі на наборі зображень, що представляють літери комп'ютерних терміналів. Було експериментально продемонстровано як позитивне, так і негативне передавальне навчання.[6]

1993 року Лоріен Пратт опублікував статтю про передавання в машиннім навчанні, сформулювавши алгоритм передавання на основі розрізнювальності (англ. discriminability-based transfer, DBT).[7]

1997 року Пратт та Себастьян Трун стали запрошеними редакторами спеціального випуску журналу «Machine Learning», присвяченого передавальному навчанню,[8] а до 1998 року ця галузь розвинулася до включення багатозадачного навчання[9] а також більш формального аналізу теоретичних основ.[10] «Вчитися вчитися»[11] під редакцією Труна та Пратта — це огляд цієї теми 1998 року.

Передавальне навчання знайшло застосування також і в когнітивістиці, а Пратта також запрошували 1996 року редагувати випуск журналу «Connection Science» про повторне використання нейронних мереж через передавання.[12]

Ендрю Ин у своєму семінарі на NIPS 2016[13][14][15] сказав, щоби підкреслити важливість ПН, що воно буде наступним рушієм комерційного успіху МН після керованого навчання.

Визначення передавального навчання задають у термінах областей визначення та задач. Область визначення ${\displaystyle {\mathcal {D}}}$ складається з простору ознак ${\displaystyle {\mathcal {X}}}$ та відособленого розподілу ймовірності ${\displaystyle P(X)}$, де ${\displaystyle X=\{x_{1},...,x_{n}\}\in {\mathcal {X}}}$. Для заданої конкретної області визначення ${\displaystyle {\mathcal {D}}=\{{\mathcal {X}},P(X)\}}$ задача складається з двох складових: простору міток ${\displaystyle {\mathcal {Y}}}$ та цільової передбачувальної функції ${\displaystyle f:{\mathcal {X}}\rightarrow {\mathcal {Y}}}$. Функцію ${\displaystyle f}$ використовують для передбачування відповідної мітки ${\displaystyle f(x)}$ нового примірника ${\displaystyle x}$. Цієї задачі, позначуваної через ${\displaystyle {\mathcal {T}}=\{{\mathcal {Y}},f(x)\}}$, навчаються з тренувальних даних, що складаються з пар ${\displaystyle \{x_{i},y_{i}\}}$, де ${\displaystyle x_{i}\in X}$, а ${\displaystyle y_{i}\in {\mathcal {Y}}}$.[16]

Для заданої первинної області визначення ${\displaystyle {\mathcal {D}}_{S}}$ та задачі навчання ${\displaystyle {\mathcal {T}}_{S}}$, цільової області визначення ${\displaystyle {\mathcal {D}}_{T}}$ та задачі навчання ${\displaystyle {\mathcal {T}}_{T}}$, де ${\displaystyle {\mathcal {D}}_{S}\neq {\mathcal {D}}_{T}}$, або ${\displaystyle {\mathcal {T}}_{S}\neq {\mathcal {T}}_{T}}$, передавальне навчання має на меті допомогти покращити навчання цільової передбачувальної функції ${\displaystyle f_{T}(\cdot )}$ в ${\displaystyle {\mathcal {D}}_{T}}$, використовуючи знання в ${\displaystyle {\mathcal {D}}_{S}}$ і ${\displaystyle {\mathcal {T}}_{S}}$.[16]

Існують доступні алгоритми для передавального навчання в марковських логічних мережах[17] та баєсових мережах.[18] Передавальне навчання також застосовували до виявляння підтипів раку,[19] використання будівель,[20][21] універсальних ігрових програм,[22] класифікації текстів,[23][24] розпізнавання цифр,[25] медичного унаочнювання та фільтрування спаму.[26]

2020 року було виявлено, що, завдяки їхній подібній фізичній природі, є можливим передавальне навчання між електроміографічними (ЕМГ) сигналами від м'язів при класифікуванні поведінки електроенцефалографічних (ЕЕГ) мозкових хвиль з області розпізнавання жестів до області розпізнавання психічного стану. Було також зазначено, що цей взаємозв'язок працював і в зворотному напрямку, показуючи, що ЕЕГ також може подібним чином бути додатково використано для класифікування ЕМГ.[27] Ці експерименти відзначали, що точність нейронних мереж та згорткових нейронних мереж покращилася[28] завдяки передавальному навчанню як у першу епоху (до будь-якого тренування, тобто порівняно зі стандартним випадковим розподілом ваг), так і в асимптоті (у кінці процесу навчання). Тобто алгоритми вдосконалюються завдяки впливові іншої області визначення. Більше того, для досягнення кращої продуктивності кінцевий користувач попередньо натренованої моделі може змінювати структуру повноз'єднаних шарів.[29]

• Схрещування (генетичний алгоритм)
• Пристосовування області визначення
• Універсальна ігрова програма
• Багатозадачне навчання
• Багатозадачна оптимізація

• Thrun, Sebastian; Pratt, Lorien (6 грудня 2012). Learning to Learn. Springer Science & Business Media. ISBN 978-1-4615-5529-2. (англ.)