Правило навчання ШНМ

Навчання з вчителем (supervised learning) — передбачає, що для кожного вхідного вектора (xi) існує вектор вихідних значень (di). Разом ці два вектора називають навчальною парою (xi , di), а множину навчальних пар — навчальною вибіркою. Процес навчання зводиться до почергового подавання на вхід нейронної мережі навчальних пар, вираховування похибки між дійсним і бажаним значенням нейронної δ=y-d та корегування параметрів мережі в бік зменшення цієї похибки[3].

Навчання без вчителя (unsupervised)— один зі способів машинного навчання, при вирішенні яких випробовувана система спонтанно навчається виконувати поставлене завдання, без втручання з боку експериментатора. З точки зору кібернетики, є одним з видів кібернетичного експерименту. Як правило, це підходить тільки для задач, в яких відомий опис множини об'єктів (навчальна вибірка), і необхідно виявити внутрішні взаємозв'язки, залежності, закономірності, що існують між об'єктами.

Навчання без вчителя часто протиставляється навчанню з учителем, коли для кожного об'єкта, що навчається, примусово задається «правильна відповідь», і потрібно знайти залежність між стимулами та реакціями системи[4].

Навчання з підкріпленням є проміжним варіантом двох попередніх парадигм . Замість «вчителя» в схему навчання вводиться блок «критика» , який відслідковує реакцію середовища на вхідний сигнал і опираючись на неї визначає евристичну похибку, яку покладено в процес навчання мережі. Вказані парадигми базуються на відповідних правилах навчання, які визначають основні особливості їх застосування[5]. 

При навчанні з вчителем для кожного вхідного прикладу заданий бажаний вихід d. Реальний вихід мережі у може не збігатися з бажаним. Являє собою такий метод навчання, при якому вага зв'язку не змінюється до тих пір, поки поточна реакція перцептрона залишається правильною. При появі неправильної реакції вага змінюється на одиницю, а знак (+/-) визначається протилежним від знаку помилки. Навчання має місце тільки у разі, коли перцептрон помиляється. Відомі різні модифікації цього алгоритму навчання: метод корекції помилок без квантування, метод корекції помилок з квантуванням, метод корекції помилок з випадковим знаком підкріплення, метод корекції помилок з випадковими збуреннями[7].

Правило навчання Больцмана є стохастичним правилом навчання, яке виходить з інформаційних теоретичних і термодинамічних принципів. Метою навчання Больцмана є таке налаштування вагових коефіцієнтів, при якому стани видимих нейронів задовольняють бажаний розподіл вірогідності. Навчання Больцмана може розглядатися як спеціальний випадок корекції за помилкою, в якому під помилкою розуміється розбіжність кореляцій полягань в двох режимах [8].

Основні ознаки навчання:

• використовують каскад багатьох шарів вузлів нелінійної обробки для виділяння ознак та перетворення. Кожен наступний шар використовує вихід із попереднього шару як вхід. Алгоритми можуть бути з керованим або спонтанним навчанням, а застосування включають розпізнавання образів (спонтанне) та класифікацію (керовану).
• ґрунтуються на навчанні (спонтанному) декількох шарів ознак або представлень даних. Ознаки вищих рівнів виводяться з ознак нижчих рівнів для формування ієрархічного представлення.
• є частиною ширшої області машинного навчання з навчання представлень даних.
• навчаються кільком рівням представлень, що відповідають різним рівням абстракції; ці рівні формують ієрархію понять.

Власне дельта-правилом називають математичну, трохи загальнішу форму запису правил Хебба. Нехай вектор ${\displaystyle X=x_{1},x_{2},.....,x_{r},....,x_{m}}$  — вектор вхідних сигналів, а вектор ${\displaystyle D=d_{1},d_{2},...,d_{k},...,d_{n}}$ ${\displaystyle D=d_{1},d_{2},...,d_{r},...,d_{m}}$  — вектор сигналів, які повинні бути отримані від перцептрона під впливом вхідного вектора. Тут  — кількість нейронів, що входять до перцептрону. Вхідні сигнали, поступивши на входи перцептрону, були зважені і підсумовані, в результаті чого отримано вектор ${\displaystyle Y=y_{1},y_{2},...,y_{r},...,y_{m}}$  вихідних значень перцептрона. Тоді можна визначити вектор помилки ${\displaystyle E=e_{1},e_{2},...,e_{r},...,e_{m}}$, розмірність якого збігається розмірністю вектором вихідних сигналів. Компоненти вектора помилок визначаються як різниця між очікуваним і реальним значенням вихідного сигналу нейрону перцептрона:

За таких позначеннях формулу для коригування j-ї ваги i-го нейрона можна записати так:

Номер сигналу ${\displaystyle j}$  змінюється в межах від одиниці до розмірності вхідного вектора ${\displaystyle m}$ . Номер нейрону ${\displaystyle i}$  змінюється в межах від одиниці до кількості нейронів ${\displaystyle n}$. Величина ${\displaystyle t}$  — номер поточної ітерації навчання. Таким чином, вага вхідного сигналу нейрона змінюється у бік зменшення помилки пропорційно величині сумарної помилки нейрона. Часто вводять коефіцієнт пропорційності ${\displaystyle \eta }$ , на який множиться величина помилки[9]. Цей коефіцієнт називають швидкістю навчання. Таким чином, підсумкова формула для коректування ваг зв'язків перцептрону має наступний вигляд:

${\displaystyle w_{j}(t+1)=w_{j}(t)+e_{i}\eta x_{j}}$

На відміну від навчання Хебба, в якому безліч вихідних нейронів можуть збуджуватися одночасно, при навчанні змагання вихідні нейрони змагаються між собою за активізацію. Це явище відоме як правило «переможець бере все». Подібне навчання має місце в біологічних нейронних мережах. Навчання за допомогою змагання дозволяє кластеризувати вхідні дані: подібні приклади групуються мережею відповідно до кореляцій і подаються одним елементом. При навчанні модифікуються тільки ваги нейрона, що «переміг». Ефект цього правила досягається за рахунок такої зміни збереженого в мережі зразка (вектора вагів зв’язків нейрона, що «переміг»), при якому він стає трохи ближчим до вхідного прикладу[10].