Залишкова нейронна мережа

Мозок має структури, подібні до залишкових мереж, оскільки нейрони шостого шару кори отримують вхід із першого шару, пропускаючи проміжні шари.[4] На рисунку це зіставлено з сигналами від апікального дендриту (3), що оминають шари, тоді як базальний дендрит (2) збирає сигнали з попереднього та/або того ж шару.[lower-alpha 1][5] Подібні структури існують і для інших шарів.[6] Скільки шарів у корі головного мозку є подібними до шарів у штучній нейронній мережі, не зрозуміло, як і не зрозуміло, чи всі області кори головного мозку мають однакову структуру, але на великих площах вони виглядають подібними.

Для одиночних пропусків шари може бути індексовано або як з ${\textstyle \ell -2}$ до ${\textstyle \ell }$, або як з ${\textstyle \ell }$ до ${\textstyle \ell +2}$. (Шрифт ${\textstyle \ell }$ використано для наочності, зазвичай його пишуть як просте l.) Ці дві системи індексування є зручними при описуванні пропусків як таких, що йдуть назад, та вперед. Оскільки сигнал проходить мережею вперед, простіше описувати пропуск як ${\textstyle \ell +k}$ із заданого рівня, але як правило навчання (зворотне поширення) простіше описувати, який шар збудження ви використовуєте повторно, як ${\textstyle \ell -k}$, де ${\textstyle k-1}$ є числом пропуску.

Для заданої вагової матриці ${\textstyle W^{\ell -1,\ell }}$ для ваг з'єднань з шару ${\textstyle \ell -1}$ до ${\textstyle \ell }$ та вагової матриці ${\textstyle W^{\ell -2,\ell }}$ для ваг з'єднань з шару ${\textstyle \ell -2}$ до ${\textstyle \ell }$ прямим поширенням через передавальну функцію буде (відома як HighwayNet)

${\displaystyle {\begin{aligned}a^{\ell }&:=\mathbf {g} (W^{\ell -1,\ell }\cdot a^{\ell -1}+b^{\ell }+W^{\ell -2,\ell }\cdot a^{\ell -2})\\&:=\mathbf {g} (Z^{\ell }+W^{\ell -2,\ell }\cdot a^{\ell -2})\end{aligned}}}$

де

${\textstyle a^{\ell }}$ — збудження (виходи) нейронів у шарі ${\textstyle \ell }$,

${\textstyle \mathbf {g} }$ — передавальна функція шару ${\textstyle \ell }$,

${\textstyle W^{\ell -1,\ell }}$ — вагова матриця для нейронів між шарами ${\textstyle \ell -1}$ та ${\textstyle \ell }$, а

${\textstyle Z^{\ell }=W^{\ell -1,\ell }\cdot a^{\ell -1}+b^{\ell }}$

За відсутності явної матриці ${\textstyle W^{\ell -2,\ell }}$ (що є відомим як ResNet) пряме поширення крізь передавальну функцію спрощується до

${\displaystyle a^{\ell }:=\mathbf {g} (Z^{\ell }+a^{\ell -2})}$

Інший спосіб сформулювати це — підставити одиничну матрицю замість ${\textstyle W^{\ell -2,\ell }}$, але це є справедливим лише коли розміри збігаються. Це дещо заплутано називають одиничним блоком (англ. identity block), що означає, що збудження з шару ${\textstyle \ell -2}$ передаються до шару ${\textstyle \ell }$ без зважування.

У корі головного мозку такі пропуски вперед здійснюються для декількох шарів. Зазвичай усі пропуски вперед починаються з одного й того ж шару, і послідовно з'єднуються з пізнішими шарами. У загальному випадку це буде виражено як (відоме як DenseNet)

${\displaystyle a^{\ell }:=\mathbf {g} \left(Z^{\ell }+\sum _{k=2}^{K}W^{\ell -k,\ell }\cdot a^{\ell -k}\right)}$ .

Під час навчання зворотним поширенням для нормального шляху

${\displaystyle \Delta w^{\ell -1,\ell }:=-\eta {\frac {\partial E^{\ell }}{\partial w^{\ell -1,\ell }}}=-\eta a^{\ell -1}\cdot \delta ^{\ell }}$

і для шляхів пропусків (майже ідентично)

${\displaystyle \Delta w^{\ell -2,\ell }:=-\eta {\frac {\partial E^{\ell }}{\partial w^{\ell -2,\ell }}}=-\eta a^{\ell -2}\cdot \delta ^{\ell }}$ .

В обох випадках

${\textstyle \eta }$ є темпом навчання (${\textstyle \eta <0)}$ ,

${\textstyle \delta ^{\ell }}$ є сигналом похибки нейронів на шарі ${\textstyle \ell }$, а

${\textstyle a_{i}^{\ell }}$ є збудженням нейронів на шарі ${\textstyle \ell }$ .

Якщо шлях пропуску має незмінні ваги (наприклад, одиничну матрицю, як вище), то вони не уточнюються. Якщо їх можливо уточнювати, то це правило є звичайним правилом уточнювання зворотного поширення.

У загальному випадку може бути ${\textstyle K}$ вагових матриць шляхів пропуску, тож

${\displaystyle \Delta w^{\ell -k,\ell }:=-\eta {\frac {\partial E^{\ell }}{\partial w^{\ell -k,\ell }}}=-\eta a^{\ell -k}\cdot \delta ^{\ell }}$

Оскільки правила навчання є однаковими, вагові матриці можливо об'єднувати та навчати за один крок.