Штучна нейронна мережа

Наприкінці 1940-х років Дональд Гебб[3] створив гіпотезу навчання, засновану на механізмі нейропластичності, яка стала відомою як геббове навчання. Геббове навчання є спонтанним навчанням. Воно розвинулося в моделі довготривалого потенціювання. Дослідники почали застосовувати ці ідеї до обчислювальних моделей 1948 року в машинах Тюрінга типу B.

Фарлі та Кларк[4] (1954) вперше використали обчислювальні машини, звані тоді «калькуляторами» (англ. calculators), щоби відтворити геббову мережу. Інші нейромережеві обчислювальні машини було створено Рочестером, Голландом, Гебітом та Дудою (1956).[5]

Розенблат[6] (1958) створив перцептрон, алгоритм для розпізнавання образів. За допомогою математичного запису Розенблат описав схему не примітивного перцептрону, таку як схема виключного «або», яке в той час обробляти нейронними мережами було неможливо.[7]

1959 року біологічну модель, запропоновану нобелівськими лауреатами Г'юбелем та Візелем, було засновано на їхньому відкритті двох типів клітин у первинній зоровій корі: простих клітин та складних клітин.[8]

Перші працездатні мережі з багатьма шарами було опубліковано Івахненком та Лапою 1965 року, вони стали методом групового урахування аргументів.[9][10][11]

Дослідження нейронних мереж зазнало застою після дослідження машинного навчання Мінського та Пейперта (1969),[12] які відкрили дві ключові проблеми з обчислювальними машинами, що обробляли нейронні мережі. Першою було те, що базові перцептрони були нездатні обробляти схему виключного «або». Другою було те, що комп'ютери не мали достатньої обчислювальної потужності для ефективного виконання роботи, потрібної великим нейронним мережам. Дослідження нейронних мереж уповільнилося, поки комп'ютери не досягли набагато більшої обчислювальної потужності.

Значну частину штучного інтелекту було зосереджено на оброблюваних алгоритмами високорівневих (символьних) моделях, які характеризують, наприклад, експертні системи зі знаннями, втіленими в правилах «якщо — то», поки наприкінці 1980-х років дослідження не поширилися на низькорівневе (саб-символьне) машинне навчання, що характеризується втіленням знання в параметрах пізнавальної моделі.^{[джерело?]}

Ключовим активатором відновлення зацікавленості нейронними мережами та навчанням був алгоритм зворотного поширення Вербоса (1975), який ефективно розв'язував проблему виключного «або», і загалом прискорив навчання багатошарових мереж. Зворотне поширення розповсюджувало член похибки шарами в зворотному напрямку, змінюючи ваги в кожному вузлі.[7]

В середині 1980-х років набула популярності розподілена паралельна обробка під назвою конективізму. Румельхарт та МакКлелланд (1986) описали застосування конективізму для моделювання нейронних процесів.[13]

Метод опорних векторів та інші, значно простіші методи, такі як лінійні класифікатори, поступово наздогнали нейронні мережі за популярністю в машинному навчанні.

Попередні виклики в тренуванні глибинних нейронних мереж було успішно розв'язано за допомогою таких методів, як спонтанне попереднє тренування, в той час як доступна обчислювальна потужність зросла через застосування ГП та розподілених обчислень. Нейронні мережі було розгорнуто в великому масштабі, зокрема, в задачах розпізнавання зображень та відео. Це стало відомим як «глибинне навчання», хоча глибинне навчання не є строго синонімічним до глибинних нейронних мереж.

1992 року було представлено максимізаційне агрегування, щоби допомогти з інваріантністю відносно найменшого зсуву та терпимістю до деформації для допомоги в розпізнаванні тривимірних об'єктів.[14][15][16]

Проблема зникання градієнту впливає на багатошарові мережі прямого поширення, які використовують зворотне поширення, а також на рекурентні нейронні мережі (РНМ).[17][18] З поширенням похибок від шару до шару, вони скорочуються експоненційно з кількістю шарів, стримуючи налаштування ваг нейронів, яке ґрунтується на цих похибках, й особливо вражаючи глибинні мережі.

Щоби подолати цю проблему, Шмідгубер обрав багатошарову ієрархію мереж (1992), попередньо тренованих по одному шарові за раз за допомогою спонтанного навчання, а потім тонко налаштовуваних зворотним поширенням.[19] Бенке (2003) в таких задачах, як відбудова зображень та визначення положень облич, покладався лише на знак градієнту (еластичне зворотне поширення).[20]

Хінтон та ін. (2006) запропонували навчання високорівневих представлень із застосуванням послідовних шарів двійкових або дійснозначних латентних змінних з обмеженою машиною Больцмана[21] для моделювання кожного шару. Щойно навчено достатньо багато шарів, можна застосовувати глибинну архітектуру як породжувальну модель, відтворюючи дані здійсненням вибірки моделлю донизу («спадковий прохід») від збудження ознак верхнього рівня.[22][23] 2012 року Ин та Дін створили мережу, яка вчилася розпізнавати високорівневі поняття, такі як коти, лише з перегляду немічених зображень, взятих з відео YouTube.[24]

Було створено обчислювальні пристрої в КМОН, як для біофізичного моделювання, так і для нейроморфних обчислень. Нанопристрої[25] для надвеликомасштабного аналізу головних компонент та згортки можуть утворити новий клас нейронних обчислень, оскільки вони є фундаментально аналоговими, а не цифровими (хоча перші втілення й можуть використовувати цифрові пристрої).[26] Чирешан з колегами (2010)[27] з групи Шмідгубера показали, що, незважаючи на проблему зникання градієнту, ГП роблять зворотне поширення придатним для багатошарових нейронних мереж прямого поширення.

В період з 2009 по 2012 рік рекурентні нейронні мережі та глибинні нейронні мережі прямого поширення, розроблені в дослідницькій групі Шмідгубера, виграли вісім міжнародних змагань з розпізнавання образів та машинного навчання.[28][29] Наприклад, двоспрямована та багатовимірна довга короткочасна пам'ять (ДКЧП, англ. long short-term memory, LSTM)[30][31][32][33] Ґрейвса та ін. виграла три змагання з розпізнаванні неперервного рукописного тексту на Міжнародній конференції з аналізу та розпізнавання документів (англ. ICDAR) 2009 року без жодного попереднього знання про три мови, яких було потрібно навчитися.[32][31]

Чирешан з колегами виграли змагання з розпізнавання образів, включно зі Змаганням з розпізнавання дорожніх знаків IJCNN 2011 року,[34] Змаганням із сегментування нейронних структур у стеках електронної мікроскопії ISBI 2012 року[35] та іншими. Їхні нейронні мережі були першими, що досягли порівняної з людською, або навіть надлюдської продуктивності[36] на таких еталонах, як розпізнавання дорожніх знаків (IJCNN 2012) та задача рукописних цифр MNIST.

Дослідники показали (2010), що глибинні нейронні мережі, з'єднані з прихованою марковською моделлю з контекстно-залежними станами, які визначають шар виходу нейронної мережі, можуть докорінно знижувати похибки в задачах великословникового розпізнавання мовлення, таких як голосовий пошук.

Втілення цього підходу на основі ГП[37] виграли багато змагань з розпізнавання образів, включно зі Змаганням з розпізнавання дорожніх знаків IJCNN 2011 року,[34] Змаганням із сегментування нейронних структур в ЕМ-стеках ISBI 2012 року,[38] змаганням ImageNet[39] та іншими.

Глибинні, високонелінійні нейронні архітектури, подібні до неокогнітрону[40] та «стандартної архітектури бачення»,[41] натхнені простими та складними клітинами, було попередньо треновано спонтанними методами Хінтоном.[42][22] Команда з його лабораторії виграла змагання 2012 року, спонсороване компанією Merck, для розробки програмного забезпечення для допомоги в пошуку молекул, які можуть ідентифікувати нові ліки.[43]

Починаючи з 2011 року, передовою в мережах прямого поширення глибинного навчання була почерговість згорткових шарів та шарів максимізаційного агрегування,[37][44] увінчаних декількома повно- або частково зв'язаними шарами, за якими йде рівень остаточної класифікації. Навчання зазвичай виконується без спонтанного попереднього навчання.

Такі керовані методи глибинного навчання були першими, що досягли в певних задачах продуктивності, порівняної з людською.[36]

ШНМ змогли гарантувати інваріантність до зсуву, щоби обходитися з маленькими та великими природними об'єктами у великих загромаджених сценах, лише коли інваріантність поширилася за межі зсуву, на всі навчені ШНМ поняття, такі як розташування, тип (мітка класу об'єкта), масштаб, освітлення та інші. Це було реалізовано в еволюційних мережах (ЕМ, англ. Developmental Networks, DN),[45] чиїми втіленнями є мережі «де—що» (англ. Where-What Networks), від WWN-1 (2008)[46] до WWN-7 (2013).[47]

Нейрон з міткою ${\displaystyle j}$, що отримує вхід ${\displaystyle p_{j}(t)}$ від нейронів-попередників, складається з наступних складових:[48]

• збудження (англ. activation) ${\displaystyle a_{j}(t)}$, що залежить від дискретного параметра часу,
• можливо, порогу (англ. threshold) ${\displaystyle \theta _{j}}$, що залишається незмінним, якщо його не змінить функція навчання,
• функції збудження (англ. activation function) ${\displaystyle f}$, яка обчислює нове збудження в заданий час ${\displaystyle t+1}$ з ${\displaystyle a_{j}(t)}$, ${\displaystyle \theta _{j}}$ та мережевого входу ${\displaystyle p_{j}(t)}$, даючи в результаті відношення

${\displaystyle a_{j}(t+1)=f(a_{j}(t),p_{j}(t),\theta _{j})}$,

• та функції виходу (англ. output function) ${\displaystyle f_{out}}$, яка обчислює вихід з активації

${\displaystyle o_{j}(t)=f_{out}(a_{j}(t))}$.

Функція виходу часто є просто тотожною функцією.

Нейрон входу (англ. input neuron) не має попередників, а слугує інтерфейсом входу для всієї мережі. Аналогічно, нейрон виходу (англ. output neuron) не має наступників, і відтак слугує інтерфейсом виходу для всієї мережі.

Мережа (англ. network) складається зі з'єднань (англ. connection), кожне з яких передає вихід нейрону ${\displaystyle i}$ до входу нейрону ${\displaystyle j}$. В цьому сенсі ${\displaystyle i}$ є попередником (англ. predecessor) ${\displaystyle j}$, а ${\displaystyle j}$ є наступником (англ. successor) ${\displaystyle i}$. Кожному з'єднанню призначено вагу (англ. weight) ${\displaystyle w_{ij}}$.[48]

Функція поширення (англ. propagation function) обчислює вхід ${\displaystyle p_{j}(t)}$ до нейрону ${\displaystyle j}$ з виходів ${\displaystyle o_{i}(t)}$ нейронів-попередників, і зазвичай має вигляд[48]

${\displaystyle p_{j}(t)=\sum _{i}o_{i}(t)w_{ij}}$.

Правило навчання (англ. learning rule) — це правило або алгоритм, який змінює параметри нейронної мережі, щоби заданий вхід до мережі видавав придатний вихід. Цей процес навчання зазвичай полягає в зміні ваг та порогів змінних мережі.[48]

Нейромережеві моделі можна розглядати як прості математичні моделі, що визначають функцію ${\displaystyle \textstyle f:X\rightarrow Y}$, або розподіл над ${\displaystyle \textstyle X}$, або над ${\displaystyle \textstyle X}$ та ${\displaystyle \textstyle Y}$. Іноді моделі тісно пов'язують з певним правилом навчання. Поширене використання фрази «модель ШНМ» насправді є визначенням класу таких функцій (де членів цього класу отримують варіюванням параметрів, ваг з'єднань, або особливостей архітектури, таких як число нейронів або їхня зв'язність).

З математичної точки зору, нейромережеву функцію ${\displaystyle \textstyle f(x)}$ визначають як композицію інших функцій ${\displaystyle \textstyle g_{i}(x)}$, які може бути розкладено далі на інші функції. Це може бути зручно представляти як мережеву структуру, де стрілки зображують залежність між функціями. Широко вживаним способом компонування є нелінійна зважена сума, де ${\displaystyle \textstyle f(x)=K\left(\sum _{i}w_{i}g_{i}(x)\right)}$, де ${\displaystyle \textstyle K}$ (що часто називають функцією збудження, англ. activation function[49]) є визначеною наперед функцією, такою як гіперболічний тангенс, або сигмоїдна функція, або нормована експоненційна функція, або випрямляльна функція. Важливою характеристикою функції збудження є те, що вона забезпечує плавний перехід при зміні значень входу, тобто, невелика зміна входу призводить до невеликої зміни виходу. Наведене нижче розглядає набір функцій ${\displaystyle \textstyle g_{i}}$ як вектор ${\displaystyle \textstyle g=(g_{1},g_{2},\ldots ,g_{n})}$.

Граф залежностей ШНМ

Ця схема зображує такий розклад ${\displaystyle \textstyle f}$, із залежностями між змінними, показаними стрілками. Їх може бути інтерпретовано двома способами.

Перший погляд є функційним: вхід ${\displaystyle \textstyle x}$ перетворювано на 3-вимірний вектор ${\displaystyle \textstyle h}$, який відтак перетворювано на 2-вимірний вектор ${\displaystyle \textstyle g}$, який нарешті перетворювано на ${\displaystyle \textstyle f}$. Цей погляд найчастіше зустрічається в контексті оптимізації.

Другий погляд є ймовірнісним: випадкова змінна ${\displaystyle \textstyle F=f(G)}$ залежить від випадкової змінної ${\displaystyle \textstyle G=g(H)}$, яка залежить від ${\displaystyle \textstyle H=h(X)}$, яка залежить від випадкової змінної ${\displaystyle \textstyle X}$. Цей погляд найчастіше зустрічається в контексті графових моделей.

Ці два погляди є здебільшого рівнозначними. В кожному з випадків, для цієї конкретної архітектури, складові окремих шарів не залежать одна від одної (наприклад, складові ${\displaystyle \textstyle g}$ є незалежними одна від одної за заданого їхнього входу ${\displaystyle \textstyle h}$). Це природно уможливлює якусь міру паралелізму в реалізації.

Два окремі зображення графу залежностей рекурентної ШНМ

Такі мережі, як попередня, зазвичай називають мережами прямого поширення, оскільки їхній граф є спрямованим ациклічним графом. Мережі з циклами зазвичай називають рекурентними. Такі мережі зазвичай зображують у спосіб, показаний у верхній частині малюнка, де ${\displaystyle \textstyle f}$ показано як залежну від самої себе. Проте, не показано часову залежність, що мається на увазі.

Найбільше зацікавлення нейронними мережами викликала можливість навчання. Для заданої конкретної задачі для розв'язання та класу функцій ${\displaystyle \textstyle F}$ навчання означає використання набору спостережень для знаходження ${\displaystyle \textstyle f^{*}\in F}$, яка розв'язує цю задачу в певному оптимальному сенсі.

Це тягне за собою визначення такої функції витрат (англ. cost function) ${\displaystyle \textstyle C:F\rightarrow \mathbb {R} }$, що, для оптимального розв'язку ${\displaystyle \textstyle f^{*}}$, ${\displaystyle \textstyle C(f^{*})\leq C(f)}$ ${\displaystyle \textstyle \forall f\in F}$ — тобто, жоден розв'язок не має витрат, менших за витрати оптимального розв'язку (див. математичну оптимізацію).

Функція витрат ${\displaystyle \textstyle C}$ є важливим поняттям у навчанні, оскільки вона є мірою того, наскільки далеким є певний розв'язок від оптимального розв'язку задачі, яку потрібно розв'язати. Алгоритми навчання здійснюють пошук простором розв'язків, щоби знайти функцію, яка має найменші можливі витрати.

Для тих застосувань, де розв'язок залежить від даних, витрати обов'язково мусять бути функцією від спостережень, бо інакше модель не матиме зв'язку з даними. Їх часто визначають як статистику, для якої може бути зроблено лише наближення. Як простий приклад, розгляньмо задачу знаходження моделі ${\displaystyle \textstyle f}$, яка зводить до мінімуму ${\displaystyle \textstyle C=E\left[(f(x)-y)^{2}\right]}$ для пар даних ${\displaystyle \textstyle (x,y)}$, що витягають з певного розподілу ${\displaystyle \textstyle {\mathcal {D}}}$. В практичних ситуаціях ми матимемо лише ${\displaystyle \textstyle N}$ зразків з ${\displaystyle \textstyle {\mathcal {D}}}$, і, відтак, для наведеного вище прикладу ми будемо зводити до мінімуму лише ${\displaystyle \textstyle {\hat {C}}={\frac {1}{N}}\sum _{i=1}^{N}(f(x_{i})-y_{i})^{2}}$. Таким чином, витрати зводяться до мінімуму над вибіркою з даних, а не над усім розподілом.

Коли ${\displaystyle \textstyle N\rightarrow \infty }$, мусить застосовуватися якийсь різновид інтерактивного машинного навчання, в якому витрати знижуються з кожним побаченим зразком. І хоча інтерактивне машинне навчання часто застосовують за незмінного ${\displaystyle \textstyle {\mathcal {D}}}$, найкориснішим воно є у випадку, коли цей розподіл повільно змінюється з часом. В нейромережевих методах якісь різновиди інтерактивного машинного навчання часто застосовують для скінченних наборів даних.

Навіть коли можливо визначити функцію витрат ad hoc, часто використовують конкретні витрати (функцію витрат), або через те, що вони мають бажані властивості (такі як опуклість), або через те, що вони природно виникають з певного формулювання задачі (наприклад, у ймовірнісному формулюванні як обернені витрати можна використовувати апостеріорну ймовірність моделі). Кінець кінцем, функція витрат залежить від задачі.

ГНМ може бути треновано розрізнювально за допомогою стандартного алгоритму зворотного поширення (англ. backpropagation). Зворотне поширення — це метод обчислення градієнту функції втрат (видає витрати, пов'язані з заданим станом) по відношенню до ваг в ШНМ.

Основи неперервного зворотного поширення[9][50][51][52] було виведено в контексті теорії керування Келлі[53] 1960 року та Брайсоном 1961 року[54] з використанням принципів динамічного програмування. 1962 року Дрейфус опублікував простіше виведення, засноване лише на ланцюговому правилі.[55] Брайсон та Хо описали його як метод багатоетапної оптимізації динамічних систем 1969 року.[56][57] 1970 року Ліннаінмаа остаточно опублікував загальний метод автоматичного диференціювання (АД) дискретних зв'язних мереж вкладених диференційовних функцій.[58][59] Він відповідає сучасному баченню зворотного поширення, яке є ефективним навіть коли мережі є розрідженими.[9][50][60][61] 1973 року Дрейфус застосував зворотне поширення для пристосування параметрів контролерів пропорційно градієнтам похибок.[62] 1974 року Вербос зазначив можливість застосування цього принципу до ШНМ,[63] і 1982 року він застосував метод АД Ліннаінмаа до нейронних мереж способом, який широко застосовується сьогодні.[50][64] 1986 року Румельхарт, Хінтон та Вільямс зазначили, що цей метод може породжувати корисні внутрішні представлення вхідних даних в прихованих шарах нейронних мереж.[65] 1993 року Ван став першим[9] переможцем міжнародного змагання з розпізнавання образів за допомогою зворотного поширення.[66]

Уточнення ваг зворотного поширення можливо здійснювати за допомогою стохастичного градієнтного спуску із застосуванням наступного рівняння:

${\displaystyle w_{ij}(t+1)=w_{ij}(t)+\eta {\frac {\partial C}{\partial w_{ij}}}+\xi (t)}$

де ${\displaystyle \eta }$ є темпом навчання, ${\displaystyle C}$ є функцією витрат (втрат), а ${\displaystyle \xi (t)}$ — стохастичним членом. Вибір функції витрат залежить від таких чинників як тип навчання (кероване, спонтанне, з підкріпленням тощо) та функції збудження. Наприклад, при здійсненні керованого навчання на задачі багатокласової класифікації поширеними варіантами вибору функції збудження та функції витрат є нормована експоненційна функція та функція перехресної ентропії відповідно. Нормалізовану експоненційну функцію визначають як ${\displaystyle p_{j}={\frac {\exp(x_{j})}{\sum _{k}\exp(x_{k})}}}$, де ${\displaystyle p_{j}}$ представляє ймовірність класу (вихід вузла ${\displaystyle j}$), а ${\displaystyle x_{j}}$ та ${\displaystyle x_{k}}$ представляють загальний вхідний сигнал вузлів ${\displaystyle j}$ та ${\displaystyle k}$ одного й того ж рівня відповідно. Перехресну ентропію визначають як ${\displaystyle C=-\sum _{j}d_{j}\log(p_{j})}$, де ${\displaystyle d_{j}}$ представляє цільову ймовірність для вузла виходу ${\displaystyle j}$, а ${\displaystyle p_{j}}$ є виходом ймовірності для ${\displaystyle j}$ після застосування функції збудження.[67]

Це можливо використовувати для виведення обмежувальних коробок об'єкта у вигляді двійкової маски. Їх також використовують для багатомасштабної регресії для підвищення точності визначення положення. Регресія на основі ГНМ може навчатися ознак, що схоплюють геометричну інформацію, на додачу до того, що вони слугують добрим класифікатором. Вони усувають вимогу явного моделювання частин та їхніх взаємозв'язків. Це допомагає розширити розмаїття об'єктів, яких можна навчитися. Модель складається з декількох шарів, кожен з яких має випрямляч як функцію збудження для нелінійного перетворення. Деякі шари є згортковими, тоді як деякі є повнозв'язними. Кожен згортковий шар має додаткове максимізаційне агрегування. Мережу тренують для зведення до мінімуму похибки L² для передбачування маски, що пробігає весь тренувальний набір, що містить обмежувальні коробки, представлені як маски.

До альтернатив зворотному поширенню належать машини екстремального навчання,[68] «безпоширні» (англ. «No-prop») мережі,[69] тренування без пошуку з вертанням,[70] «безвагові» (англ. weightless) мережі[71][72] та не-конективістські нейронні мережі.

Існує три основні парадигми навчання, кожна з яких відповідає певній навчальній задачі. Ними є кероване навчання, спонтанне навчання та навчання з підкріпленням.

Кероване навчання (англ. supervised learning) використовує набір прикладів пар ${\displaystyle (x,y),x\in X,y\in Y}$, і має на меті пошук функції ${\displaystyle f:X\rightarrow Y}$ в дозволеному класі функцій, яка відповідає цим прикладам. Іншими словами, ми хочемо вивести відображення, на яке натякають ці дані; функцію витрат пов'язано з невідповідністю між нашим відображенням та даними, і вона неявно містить апріорне знання про предметну область.[73]

Широко вживаними витратами є середньоквадратична похибка, яка намагається звести до мінімуму усереднену квадратичну похибку між виходом мережі, ${\displaystyle f(x)}$, та цільовим значення ${\displaystyle y}$ над усіма прикладами пар. Зведення до мінімуму цих витрат за допомогою градієнтного спуску для класу нейронних мереж, званого багатошаровими перцептронами (БШП), дає алгоритм зворотного поширення для тренування нейронних мереж.

Задачами, що вписуються до парадигми керованого навчання, є розпізнавання образів (відоме також як класифікація) та регресія (відома також як наближення функцій). Парадигма керованого навчання є застосовною також і до послідовнісних даних (наприклад, до розпізнавання писання вручну, мовлення та жестів). Його можна розглядати як навчання з «учителем» у вигляді функції, яка забезпечує постійний зворотний зв'язок стосовно якості отриманих досі розв'язків.

У спонтанному навчанні (англ. unsupervised learning) даються якісь дані ${\displaystyle \textstyle x}$ та функція витрат для зведення до мінімуму, якою може бути будь-яка функція від даних ${\displaystyle \textstyle x}$ та виходу мережі ${\displaystyle \textstyle f}$.

Функція витрат залежить від задачі (предметної області моделі) та наявних апріорних припущень (неявних властивостей моделі, її параметрів, та спостережуваних змінних).

Як тривіальний приклад, розгляньмо модель ${\displaystyle \textstyle f(x)=a}$, де ${\displaystyle \textstyle a}$ є сталою, а витрати ${\displaystyle \textstyle C=E[(x-f(x))^{2}]}$. Зведення до мінімуму цих витрат дає значення ${\displaystyle \textstyle a}$, яке дорівнює середньому значенню даних. Функція витрат може бути набагато складнішою. Її вигляд залежить від застосування: наприклад, у стисненні її може бути пов'язано зі взаємною інформацією між ${\displaystyle \textstyle x}$ та ${\displaystyle \textstyle f(x)}$, тоді як у статистичному моделюванні її може бути пов'язано з апостеріорною ймовірністю моделі за заданих даних (зауважте, що в обох цих прикладах ці величини зводитимуться до максимуму, а не до мінімуму).

Задачі, що вписуються до парадигми спонтанного навчання, є загалом задачами оцінювання; до застосувань належать кластерування, оцінювання статистичних розподілів, стиснення та фільтрування.

У навчанні з підкріпленням (англ. reinforcement learning) дані ${\displaystyle \textstyle x}$ зазвичай не надаються, а породжуються взаємодією агента з середовищем. В кожен момент часу ${\displaystyle \textstyle t}$ агент виконує дію ${\displaystyle \textstyle y_{t}}$, а середовище породжує спостереження ${\displaystyle \textstyle x_{t}}$ та миттєві витрати ${\displaystyle \textstyle c_{t}}$ відповідно до якоїсь (зазвичай невідомої) динаміки. Метою є визначити таку стратегію (англ. policy) вибору дій, яка зводить до мінімуму якусь міру довготривалих витрат, наприклад, очікувані сукупні витрати. Динаміка середовища та довготривалі витрати для кожної зі стратегій є зазвичай невідомими, але їх може бути оцінено.

Формальніше, середовище моделюють як марковський процес вирішування (МПВ) зі станами ${\displaystyle \textstyle {s_{1},...,s_{n}}\in S}$ та діями ${\displaystyle \textstyle {a_{1},...,a_{m}}\in A}$ з наступними розподілами ймовірності: розподілом миттєвих витрат ${\displaystyle \textstyle P(c_{t}|s_{t})}$, розподілом спостережень ${\displaystyle \textstyle P(x_{t}|s_{t})}$ та переходом ${\displaystyle \textstyle P(s_{t+1}|s_{t},a_{t})}$, тоді як стратегію визначають як умовний розподіл над діями за заданих спостережень. Взята разом, ця двійка відтак утворює марковський ланцюг (МЛ). Метою є визначити таку стратегію (тобто, МЛ), що зводить витрати до мінімуму.

ШНМ часто використовують у навчанні з підкріпленням як частину загального алгоритму.[74][75] Динамічне програмування було зв'язано з ШНМ (давши нейродинамічне програмування) Берцекасом та Цициклісом[76] і застосовано до багатовимірних нелінійних задач, таких як присутні в маршрутизувані транспорту,[77] природокористуванні[78][79] та медицині,[80] через здатність ШНМ пом'якшувати втрати точності навіть при зниженні щільності ґратки дискретизації для чисельного наближення розв'язків первинних задач керування.

Задачами, які вписуються до парадигми навчання з підкріпленням, є задачі керування, ігри та інші задачі послідовного ухвалювання рішень.

Алгоритм збіжного рекурсивного навчання (англ. convergent recursive learning algorithm) — метод навчання, розроблений спеціально для нейронних мереж артикуляційних контролерів мозочкової моделі (АКММ, англ. cerebellar model articulation controller, CMAC). 2004 року було представлено рекурсивний алгоритм найменших квадратів для інтерактивного тренування нейронної мережі АКММ.[81] Цей алгоритм може збігатися за один крок та уточнювати всі ваги за один крок із будь-якими новими вхідними даними. Початково він мав обчислювальну складність O(N³). На основі QR-розкладу цей рекурсивний алгоритм навчання було спрощено до O(N).[82]

Тренування нейронної мережі по суті означає вибирання однієї моделі з множини дозволених моделей (або, в баєсовій системі, визначення розподілу над множиною дозволених моделей), що зводить витрати до мінімуму. Доступні численні алгоритми для тренування нейромережевих моделей; більшість із них можна розглядати як безпосереднє застосування теорії оптимізації та статистичного оцінювання.

Більшість використовують градієнтний спуск якогось вигляду, застосовуючи зворотне поширення для обчислення фактичних градієнтів. Це здійснюється просто взяттям похідної від функції витрат по відношенню до параметрів мережі, з наступною зміною цих параметрів у пов'язаному з градієнтом напрямку. Алгоритми тренування зворотним поширенням поділяються на три категорії:

• найшвидший спуск (зі змінним темпом навчання та імпульсом, еластичним зворотним поширенням);
• квазі-ньютонові (Бройден — Флетчер — Гольдфарб — Шанно, однокрокова січна);
• Левенберг — Марквардт та спряжені градієнти (уточнення Флетчера — Рівза, уточнення Поляка — Ріб'єра, перезапуск Павелла — Біла, масштабований спряжений градієнт).[83]

Іншими методами для тренування нейронних мереж є еволюційні методи,[84] генно-експресійне програмування,[85] імітування відпалювання,[86] очікування-максимізація, непараметричні методи та метод рою часток.[87]

Метод групового урахування аргументів (МГУА, англ. Group Method of Data Handling, GMDH)[88] демонструє повністю автоматичну структурну та параметричну оптимізацію моделей. Функціями збудження вузлів є поліноми Колмогорова — Габора, що дозволяють додавання та множення. Він використовує глибинний багатошаровий перцептрон прямого поширення з вісьмома шарами.[89] Він є мережею керованого навчання, що росте шар за шаром, де кожен з шарів треновано регресійним аналізом. Непотрібні елементи виявляються застосуванням затверджувального набору та обрізаються шляхом регуляризації. Розмір та глибина отримуваної в результаті мережі залежить від задачі.[90]

Згорткова нейронна мережа (ЗНМ, англ. convolutional neural network, CNN) — це клас глибинних мереж прямого поширення, складених з одного чи більше згорткових шарів, із повноз'єднаними шарами (що відповідають шарам звичайних ШНМ) на верхівці. Він використовує зв'язані ваги та шари агрегування. Зокрема, за згортковою архітектурою Фукусіми[91] часто зорганізовують максимізаційне агрегування.[15] Ця архітектура дозволяє ЗНМ отримувати користь від двовимірної структури вхідних даних.

ЗНМ є зручними для обробки візуальних та інших двовимірних даних.[92][93] Вони показали чудові результати в застосуваннях як для зображень, так і для мовлення. Їх може бути треновано стандартним зворотним поширенням. ЗНМ є простішими для тренування за інші звичайні глибинні нейронні мережі прямого поширення, і мають набагато менше параметрів, що треба оцінювати.[94] До прикладів застосування в комп'ютерному баченні належить DeepDream.[95]

Мережі довгої короткочасної пам'яті (ДКЧП, англ. long short-term memory, LSTM) — це РНМ, які уникають проблеми зникання градієнту.[96] ДКЧП зазвичай доповнювано рекурентними вентилями, які називають забувальними (англ. forget gates).[97] Мережі ДКЧП запобігають зниканню та вибуханню зворотно поширюваних похибок.[17] Натомість, похибки можуть плинути в зворотному напрямку необмеженим числом віртуальних шарів розгорнутої в просторі ДКЧП. Таким чином, ДКЧП може вчитися задач „дуже глибокого навчання“ (англ. "very deep learning"),[9] що потребують спогадів про події, які сталися тисячі або навіть мільйони дискретних кроків часу тому. Можливо виводити проблемно-орієнтовані ДКЧП-подібні архітектури.[98] ДКЧП може мати справу з тривалими затримками та сигналами, які містять суміш низько- та високочастотних складових.

Стопки РНМ ДКЧП,[99] треновані нейромережевою часовою класифікацією (НЧК, англ. Connectionist Temporal Classification, CTC),[100] можуть знаходити матрицю ваг РНМ, яка зводить до максимуму ймовірність послідовностей міток у тренувальному наборі для відповідних заданих вхідних послідовностей. НЧК досягає як вирівнювання, так і розпізнавання.

2003 року ДКЧП почала ставати конкурентноздатною в порівнянні з традиційними розпізнавачами мовлення.[101] 2007 року, в поєднанні з НЧК, досягла перших добрих результатів на даних мовлення.[102] 2009 року ДКЧП, тренована НЧК, стала першою РНМ, яка перемогла в змаганнях із розпізнавання образів, коли вона виграла кілька змагань із неперервного рукописного розпізнавання.[9][32] 2014 року Baidu використала ДКЧП на основі НЧК, щоби перевершити еталон розпізнавання мовлення Switchboard Hub5'00, без традиційних методів обробки мовлення.[103] ДКЧП також поліпшила велико-словникове розпізнавання мовлення,[104][105] синтез мовлення з тексту,[106] для Google Android,[50][107] і фото-реалістичні голови, що розмовляють.[108] 2015 року розпізнавання мовлення Google зазнало 49-відсоткового покращення завдяки ДКЧП, тренованій НЧК.[109]

ДКЧП набула популярності в обробці природної мови. На відміну від попередніх моделей на основі ПММ та подібних концепцій, ДКЧП може навчатися розпізнавання контекстно-чутливих мов.[110] ДКЧП поліпшила машинний переклад,[111] моделювання мов[112] та багатомовну обробку мов.[113] ДКЧП у поєднанні з ЗНМ поліпшила автоматичний опис зображень.[114]

Глибинне резервуарне обчислення (англ. Deep Reservoir Computing) та глибинні мережі з відлунням стану (англ. Deep Echo State Networks, deepESN)[115][116] забезпечують систему для ефективного тренування моделей для ієрархічної обробки часових даних, в той же час уможливлюючи дослідження властивої ролі шаруватого компонування РНМ.

Обмежена машина Больцмана (ОМБ, англ. restricted Boltzmann machine, RBM) з повноз'єднаними видимими та прихованими вузлами. Зауважте, що з'єднання прихований-прихований та видимий-видимий відсутні.

Глибинна мережа переконань (ГМП, англ. deep belief network, DBN) — це ймовірнісна породжувальна модель, складена з декількох шарів прихованих вузлів. Її можна розглядати як композицію простих модулів навчання, що складають кожен з шарів.[117]

ГМП можливо використовувати для породжувального попереднього тренування ГНМ шляхом використання навчених ваг ГМП як початкових ваг ГНМ. Ці ваги потім може налаштовувати зворотне поширення або інші розрізнювальні алгоритми. Це є особливо корисним, коли тренувальні дані є обмеженими, оскільки ваги з погано заданими початковими значеннями можуть значно заважати продуктивності моделі. Ці попередньо натреновані ваги перебувають в області простору ваг, що є ближчою до оптимальних ваг, ніж якби їх було обрано випадково. Це уможливлює як поліпшене моделювання, так і швидшу збіжність фази тонкого налаштування.[118]

Нейронні мережі зберігання та вибірки великої пам'яті (англ. large memory storage and retrieval, LAMSTAR)[119][120] є швидкими нейронними мережами глибинного навчання з багатьма шарами, які можуть використовувати багато фільтрів одночасно. Ці фільтри можуть бути нелінійними, стохастичними, логічними, не стаціонарними та навіть не аналітичними. Вони є біологічно натхненними, і навчаються безперервно.

Нейронна мережа LAMSTAR може слугувати динамічною нейронною мережею в просторовій, часовій області визначення, та в обох. Її швидкість забезпечується геббовими вагами з'єднань,[121] що об'єднують різні та, як правило, несхожі фільтри (функції попередньої обробки) у її численні шари, і для динамічного ранжування значимості різних шарів та функцій по відношенню до заданої задачі для навчання. Це грубо імітує біологічне навчання, що об'єднує різні попередні обробники (зави́тку, сітківку тощо), кори (слухову, зорову тощо) та різні їхні області. Її здатність до глибинного навчання додатково підсилюється використанням пригнічування, кореляції та її здатністю впоруватися з неповними даними, або „втраченими“ нейронами чи шарами навіть посеред завдання. Через свої ваги з'єднань вона є повністю прозорою. Ці ваги з'єднань також уможливлюють динамічне визначення нововведення й надмірності, та слугують ранжуванню по відношенню до завдання шарів, фільтрів та окремих нейронів.

LAMSTAR застосовували в багатьох областях, включно з медичними[122][123][124] та фінансовими прогнозуваннями,[125] адаптивним фільтруванням зашумленого мовлення в невідомому шумі,[126] розпізнаванням нерухомих зображень,[127] розпізнаванням відеозображень,[128] безпекою програмного забезпечення[129] та адаптивним керуванням нелінійними системами.[130] LAMSTAR мала значно вищу швидкість навчання та дещо нижчий рівень похибок, ніж ЗНМ на основі фільтрів на випрямлячі та максимізаційному агрегуванні, у 20 порівняльних дослідженнях.[131]

Ці застосування показують занурення в аспекти даних, що є прихованими від мереж поверхневого навчання та людських чуттів, як у випадках передбачення настання подій апное уві сні,[123] електрокардіограми плоду при записі з електродів, розташованих на поверхні шкіри живота матері в ранній період вагітності,[124] фінансового прогнозування[119] та сліпого фільтрування зашумленого мовлення.[126]

LAMSTAR було запропоновано 1996 року (A U.S. Patent 5 920 852 A), і розвинуто далі Ґраупе та Кордилевським у 1997—2002 роках.[132][133][134] Видозмінену версію, відому як LAMSTAR 2, було розроблено Шнайдером та Ґраупе 2008 року.[135][136]

Ідею автокодувальника продиктовано поняттям доброго представлення. Наприклад, для класифікатора добре представлення може бути визначено як таке, що дає ефективніший класифікатор.

Кодувальник (англ. encoder) — це детерміністське відображення ${\displaystyle f_{\theta }}$, що перетворює вхідний вектор x на приховане представлення y, де ${\displaystyle \theta =\{{\boldsymbol {W}},b\}}$, ${\displaystyle {\boldsymbol {W}}}$ є ваговою матрицею, а b є вектором зсуву (англ. offset, bias). Декодувальник (англ. decoder) відображає приховане представлення y назад на відтворюваний вхід z через ${\displaystyle g_{\theta }}$. Весь процес автокодування є порівнянням цього відтвореного входу з оригінальним, і намаганням мінімізувати цю похибку, щоби зробити відтворене значення якомога ближчим до оригінального.

В складених знешумлювальних автокодувальниках (англ. stacked denoising auto encoders) частково спотворений вихід очищується (знешумлюється, англ. de-noised). Цю ідею було представлено 2010 року Венсаном та ін.[137] разом з особливим підходом до доброго представлення, добре представлення є таким, що може бути надійно отримано зі спотвореного входу, і буде корисним для відновлення відповідного чистого входу. Неявними в цьому визначенні є наступні ідеї:

• Представлення вищого рівня є відносно стабільними й стійкими до спотворень входу;
• Необхідно виділяти ознаки, що є корисними для представлення розподілу входу.

Алгоритм починається зі стохастичного відображення ${\displaystyle {\boldsymbol {x}}}$ на ${\displaystyle {\tilde {\boldsymbol {x}}}}$ через ${\displaystyle q_{D}({\tilde {\boldsymbol {x}}}|{\boldsymbol {x}})}$, це є спотворювальним кроком. Потім спотворений вхід ${\displaystyle {\tilde {\boldsymbol {x}}}}$ проходить основним процесом автокодування, і відображується на приховане представлення ${\displaystyle {\boldsymbol {y}}=f_{\theta }({\tilde {\boldsymbol {x}}})=s({\boldsymbol {W}}{\tilde {\boldsymbol {x}}}+b)}$. З цього прихованого представлення ми можемо відтворити ${\displaystyle {\boldsymbol {z}}=g_{\theta }({\boldsymbol {y}})}$. На останній стадії з метою отримання z якомога ближче до неспотвореного входу ${\displaystyle {\boldsymbol {x}}}$ виконується алгоритм мінімізації. Похибка відтворення ${\displaystyle L_{H}({\boldsymbol {x}},{\boldsymbol {z}})}$ може бути або перехресно-ентропійною втратою з афінно-сигмоїдним декодувальником, або квадратично-похибковою втратою з афінним декодувальником.[137]

Для отримання глибинної архітектури автокодувальники накладають.[138] Щойно кодувальної функції ${\displaystyle f_{\theta }}$ першого знешумлювального автокодувальника навчено, й використано її для знеспотворення входу (спотвореного входу), то може бути треновано другий рівень.[137]

Щойно складений автокодувальник натреновано, його вихід може бути використано як вхід до алгоритму керованого навчання, такого як класифікатор методом опорних векторів або багатокласова логістична регресія.[137]

Глибинна складальна мережа (ГСМ, англ. deep stacking network, DSN)[139] (глибинна опукла мережа, англ. deep convex network) ґрунтується на ієрархії блоків спрощених нейромережевих модулів. Її було представлено 2011 року Деном та Доном.[140] Вона формулює навчання як задачу опуклої оптимізації з розв'язком замкненого вигляду, підкреслюючи подібність цього механізму до складеного узагальнення (англ. stacked generalization).[141] Кожен блок ГСМ є простим модулем, який легко тренувати сам по собі керованим чином без зворотного поширення для всіх блоків.[142]

Кожен блок складається зі спрощеного багатошарового перцептрону (БШП) з єдиним прихованим шаром. Прихований шар h має логістичні сигмоїдні вузли, а шар виходу має лінійні вузли. З'єднання між цими шарами представлено ваговою матрицею U; з'єднання з вхідного до прихованого шару мають вагову матрицю W. Цільові вектори t утворюють стовпчики матриці T, а вектори вхідних даних x утворюють стовпчики матриці X. Матрицею прихованих вузлів є ${\displaystyle {\boldsymbol {H}}=\sigma ({\boldsymbol {W}}^{T}{\boldsymbol {X}})}$. Модулі тренуються по черзі, тож ваги нижчого рівня W на кожному етапі є відомими. Функція виконує поелементну логістичну сигмоїдну дію. Кожен із блоків оцінює один і той самий клас кінцевих міток y, і його оцінка поєднується з первинним входом X, утворюючи розширений вхід для наступного блоку. Таким чином, вхід до першого блоку містить лише первинні дані, тоді як до входів блоків нижче за течією додається також і вихід попередніх блоків. Тоді навчання вагової матриці U вищого рівня за заданих ваг в мережі може бути сформульовано як задачу опуклої оптимізації:

${\displaystyle \min _{U^{T}}f=||{\boldsymbol {U}}^{T}{\boldsymbol {H}}-{\boldsymbol {T}}||_{F}^{2},}$

що має розв'язок замкненого вигляду.

На відміну від інших глибинних архітектур, таких як ГМП, метою є не відкриття представлення в перетворених ознаках. Структура ієрархії цього типу архітектури робить паралельне тренування прямолінійним, як задачу оптимізації в пакетному режимі. В чисто розрізнювальних задачах ГСМ працюють краще за звичайні ГМП.[139]

Ця архітектура є розширенням глибинних складальних мереж (ГСМ). Вона пропонує два важливі поліпшення: вона використовує інформацію вищого порядку з коваріаційних статистик, і перетворює неопуклу задачу нижчого рівня на опуклу підзадачу вищого рівня.[143] ТГСМ використовують коваріаційні статистики у білінійному відображенні з кожного з двох окремих наборів прихованих вузлів одного й того ж рівня на передбачення, через тензор третього порядку.

Хоча розпаралелювання та масштабованість і не розглядаються серйозно в звичайних ГНМ,[144][145][146] все навчання ГСМ і ТГСМ здійснюється в пакетному режимі, щоби уможливлювати розпаралелювання.[140][139] Розпаралелювання дозволяє масштабувати цю конструкцію на більші (глибші) архітектури та набори даних.

Основна архітектура є придатною для різнопланових задач, таких як класифікація та регресія.

Потреба в глибинному навчанні з дійснозначними входами, як у ґаусових обмежених машинах Больцмана, привела до піково-пластинових ОМБ (ппОМБ, англ. spike and slab Restricted Boltzmann machine, ssRBM), які моделюють безперервнозначні входи строго двійковими латентними змінними.[147] Подібно до базових ОМБ та її варіантів, піково-пластинова ОМБ є двочастковим графом, але, як у ҐОМБ, видимі вузли (входи) є дійснозначними. Відмінність є в прихованому шарі, де кожен прихований вузол має змінну двійкового піку (англ. spike) та змінну дійснозначної пластини (англ. slab). Пік є дискретною масою ймовірності на нулі, тоді як пластина є густиною ймовірності над безперервною областю визначення;[148] їхня суміш формує апріорне.[149]

Розширення ппОМБ, що називається µ-ппОМБ, забезпечує додаткові моделювальні потужності, використовуючи додаткові члени в енергетичній функції. Один із цих членів дає моделі можливість формувати умовний розподіл пікових змінних знеособленням пластинових змінних за заданого спостереження.

Змішані ієрархічно-глибинні моделі (англ. compound hierarchical-deep models, compound HD models) компонують глибинні мережі з непараметричними баєсовими моделями. Ознак можливо навчатися із застосуванням таких глибинних архітектур як ГМП,[150] ГМБ,[151] глибинні автокодувальники,[152] згорткові варіанти,[153][154] ппОМБ,[148] мережі глибинного кодування,[155] ГМП з розрідженим навчанням ознак,[156] РНМ,[157] умовні ГМП,[158] знешумлювальні автокодувальники.[159] Це забезпечує краще представлення, уможливлюючи швидше навчання та точнішу класифікацію із даними високої розмірності. Проте ці архітектури є слабкими в навчанні нововведених класів на кількох прикладах, оскільки всі вузли мережі залучено до представлення входу (розподілене представлення), і мусить бути приладжувано разом (високий ступінь свободи). Обмеження ступеню свободи знижує кількість параметрів для навчання, допомагаючи навчанню нових класів з кількох прикладів. Ієрархічні баєсові (ІБ) моделі (англ. Hierarchical Bayesian (HB) models) забезпечують навчання з кількох прикладів, наприклад,[160][161][162][163][164] для комп'ютерного бачення, статистики та когнітивної науки.

Змішані ІГ-архітектури мають на меті поєднання характеристик як ІБ, так і глибинних мереж. Змішана архітектура ІПД-ГМБ є ієрархічним процесом Діріхле (ІПД) як ієрархічною моделлю, об'єднаною з архітектурою ГМБ. Вона є повністю породжувальною моделлю, узагальнюваною з абстрактних понять, що течуть крізь шари цієї моделі, яка є здатною синтезувати нові приклади нововведених класів, що виглядають «досить» природними. Навчання всіх рівнів відбувається спільно, зведенням до максимуму функції внеску логарифмічної ймовірності.[165]

У ГМБ з трьома прихованими шарами ймовірністю видимого входу ν є

${\displaystyle p({\boldsymbol {\nu }},\psi )={\frac {1}{Z}}\sum _{h}e^{\sum _{ij}W_{ij}^{(1)}\nu _{i}h_{j}^{1}+\sum _{jl}W_{jl}^{(2)}h_{j}^{1}h_{l}^{2}+\sum _{lm}W_{lm}^{(3)}h_{l}^{2}h_{m}^{3}},}$

де ${\displaystyle {\boldsymbol {h}}=\{{\boldsymbol {h}}^{(1)},{\boldsymbol {h}}^{(2)},{\boldsymbol {h}}^{(3)}\}}$ є набором прихованих вузлів, а ${\displaystyle \psi =\{{\boldsymbol {W}}^{(1)},{\boldsymbol {W}}^{(2)},{\boldsymbol {W}}^{(3)}\}}$ є параметрами моделі, що представляють умови симетричної взаємодії видимі-приховані та приховані-приховані.

Навчена модель ГМБ є неорієнтованою моделлю, що визначає спільний розподіл ${\displaystyle P(\nu ,h^{1},h^{2},h^{3})}$. Одним із шляхів вираження того, чого було навчено, є умовна модель ${\displaystyle P(\nu ,h^{1},h^{2}|h^{3})}$ та апріорний член ${\displaystyle P(h^{3})}$.

Тут ${\displaystyle P(\nu ,h^{1},h^{2}|h^{3})}$ представляє умовну модель ГМБ, що можливо розглядати як двошарову ГМБ, але з умовами зсуву, що задаються станами ${\displaystyle h^{3}}$:

${\displaystyle P(\nu ,h^{1},h^{2}|h^{3})={\frac {1}{Z(\psi ,h^{3})}}e^{\sum _{ij}W_{ij}^{(1)}\nu _{i}h_{j}^{1}+\sum _{jl}W_{jl}^{(2)}h_{j}^{1}h_{l}^{2}+\sum _{lm}W_{lm}^{(3)}h_{l}^{2}h_{m}^{3}}.}$

Глибинна передбачувальна кодувальна мережа (ГПКМ, англ. Deep predictive coding network, DPCN) — це передбачувальна схема кодування, що використовує спадну інформацію для емпіричного підлаштовування апріорних, необхідних для процедури висхідного висновування, засобами глибинної локально з'єднаної породжувальної моделі. Це працює шляхом виділяння розріджених ознак зі спостережень, що змінюються в часі, із застосуванням лінійної динамічної моделі. Потім для навчання інваріантних представлень ознак застосовується стратегія агрегування (англ. pooling). Ці блоки компонуються, щоби сформувати глибинну архітектуру, і тренуються жадібним пошаровим спонтанним навчанням. Шари утворюють щось на зразок марковського ланцюга, такого, що стани на будь-якому шарі залежать лише від наступного та попереднього шарів.

ГПКМ передбачують представлення шару, використовуючи спадний підхід із застосуванням інформації з вищого шару та часових залежностей від попередніх станів.[166]

ГПКМ можливо розширювати таким чином, щоби утворювати згорткову мережу.[166]

Поєднання зовнішньої пам'яті з ШНМ бере свій початок у ранніх дослідженнях розподілених представлень[167] та самоорганізаційних відображень Кохонена. Наприклад, у розрідженій розподіленій пам'яті та ієрархічній часовій пам'яті зразки, закодовані нейронними мережами, використовуються як адреси для асоціативної пам'яті, з «нейронами», що по суті слугують шифраторами та дешифраторами адреси. Проте, ранні контролери таких типів пам'яті не були диференційовними.

Окрім довгої короткочасної пам'яті (ДКЧП), диференційовну пам'ять до рекурентних функцій також додали й інші підходи. Наприклад:

• Диференційовні дії проштовхування та виштовхування для мереж альтернативної пам'яті, що називаються нейронними стековими машинами (англ. neural stack machines)[168][169]
• Мережі пам'яті, в яких зовнішнє диференційовне сховище керівної мережі знаходиться у швидких вагах іншої мережі[170]
• Забувальні вентилі ДКЧП[171]
• Автореферентні РНМ з особливими вузлами виходу для адресування та швидкого маніпулювання власними вагами РНМ на диференційовний манір (внутрішнє сховище)[172][173]
• Навчання перетворення з необмеженою пам'яттю[174]

Нейронні машини Тюрінга (англ. Neural Turing machines)[175] спаровують мережі ДКЧП із зовнішніми ресурсами пам'яті, з якими вони можуть взаємодіяти за допомогою процесів уваги (англ. attentional processes). Ця зв'язана система є аналогічною машині Тюрінга, але є диференційовною з краю в край, що дозволяє їй дієво навчатися градієнтним спуском. Попередні результати показують, що нейронні машини Тюрінга можуть виводити з прикладів входу та виходу прості алгоритми, такі як копіювання, впорядкування та асоціативне пригадування.

Диференційовні нейронні комп'ютери (англ. Differentiable neural computers, DNC) — це розширення нейронних машин Тюрінга. На задачах обробки послідовностей вони перевершили нейронні машини Тюрінга, системи довгої короткочасної пам'яті та мережі з пам'яттю.[176][177][178][179][180]

Підходи, які представляють попередній досвід безпосередньо, і використовують схожий досвід для формування локальної моделі, часто називають методами найближчого сусіда або k-найближчих сусідів.[181] В семантичному гешуванні (англ. semantic hashing) є корисним глибинне навчання,[182] де з великого набору документів отримується глибинна графова модель векторів кількостей слів.[183] Документи відображуються на комірки пам'яті таким чином, що семантично схожі документи розташовуються за близькими адресами. Потім документи, схожі на документ із запиту, можливо знаходити шляхом простого доступу до всіх адрес, що відрізняються від адреси документа із запиту лише кількома бітами. На відміну від розрідженої розподіленої пам'яті, що оперує 1000-бітними адресами, семантичне гешування працює на 32- або 64-бітних адресах, що зустрічаються в традиційній комп'ютерній архітектурі.

Мережі з пам'яттю (англ. memory networks)[184][185] є іншим розширенням нейронних мереж, що включає довготривалу пам'ять. Довготривала пам'ять може читатися або записуватися з метою використання її для передбачення. Ці моделі застосовувалися в контексті питально-відповідальних систем (англ. question answering, QA), де довготривала пам'ять ефективно діє як (динамічна) база знань, а вихід є текстовою відповіддю.[186]

Глибинні мережі може бути потенційно поліпшено поглибленням та скороченням параметрів, за збереження здатності до навчання. В той час як тренування надзвичайно глибоких (наприклад, завглибшки мільйон шарів) нейронних мереж може бути непрактичним, ЦП-подібні архітектури, такі як вказівникові мережі (англ. pointer networks)[187] та нейронні машини з довільним доступом (англ. neural random-access machines),[188] долають це обмеження завдяки застосуванню зовнішньої пам'яті з довільним доступом та інших складових, що зазвичай належать до комп'ютерної архітектури, таких як регістри, АЛП та вказівники. Такі системи працюють на векторах розподілів імовірностей, що зберігаються в комірках пам'яті та регістрах. Таким чином, ця модель є повністю диференційовною і тренується з краю в край. Ключовою характеристикою цих моделей є те, що їхня глибина, розмір їхньої короткочасної пам'яті та число параметрів можливо змінювати незалежно — на відміну від моделей на кшталт ДКЧП, чиє число параметрів зростає квадратично з розміром пам'яті.

Кодувально-декодувальні системи (англ. encoder–decoder frameworks) ґрунтуються на нейронних мережах, що відображують високоструктурований вхід на високоструктурований вихід. Цей підхід виник у контексті машинного перекладу,[189][190][191] де вхід та вихід є писаними реченнями двома природними мовами. В тій праці РНМ або ЗНМ ДКЧП використовувалася як кодувальник для отримання зведення про вхідне речення, і це зведення декодувалося умовною РНМ-моделлю мови для продукування перекладу.[192] Для цих систем є спільними будівельні блоки: вентильні (англ. gated) РНМ та ЗНМ, і треновані механізми уваги.

Теоретична на обчислювальна нейронаука займається теоретичним аналізом та обчислювальним моделюванням біологічних нейронних систем. Оскільки нейронні системи намагаються відображувати пізнавальні процеси та поведінку, ця область є тісно пов'язаною з пізнавальним та поведінковим моделюванням.

Щоби досягти розуміння цього, нейробіологи намагаються зв'язати спостережувані біологічні процеси (дані), біологічно правдоподібні механізми нейронної обробки та навчання (моделі біологічних нейронних мереж) та теорію (теорію статистичного навчання та теорію інформації).

Дослідження мозку неодноразово приводили до нових підходів на основі ШНМ, таких як використання з'єднань для з'єднування нейронів у різних шарах, а не суміжних нейронів в одному шарі. Інше дослідження розвідувало використання декількох типів сигналу, або тоншого контролю, ніж булеві змінні (увімкнено/вимкнено). Динамічні нейронні мережі можуть динамічно утворювати нові з'єднання, та навіть нові нейронні вузли, в той же час деактивуючи інші.[210]

Використовується багато типів моделей, визначених на різних рівнях абстрагування, та з моделюванням різних аспектів нейронних систем. Вони сягають від моделей короткотермінової поведінки окремих нейронів,[211] моделей того, як динаміка компонувань нейронних схем постає із взаємодії між окремими нейронами, і, нарешті, до моделей того, як може поставати поведінка з абстрактних нейронних модулів, які представляють цілі підсистеми. До них належать моделі короткотермінової та довготермінової пластичності, нейронних систем та їхнього відношення до навчанням та пам'яті від окремого нейрону й до рівня системи.

Як доведено теоремою Цибенка, багатошаровий перцептрон є універсальним наближувачем функцій. Проте, це доведення не є конструктивним відносно числа потрібних нейронів, топології мережі, ваг та параметрів навчання.

Особлива рекурентна архітектура з раціальнозначними вагами (на противагу до повноточнісних дійснозначних ваг) має повну силу універсальної машини Тюрінга,[212] використовуючи скінченне число нейронів та стандартні лінійні з'єднання. Крім того, використання ірраціональних значень для ваг дає в результаті машину з надтюринговою силою.[213]

Властивість «місткості» (англ. "capacity") моделі грубо відповідає її здатності моделювати будь-яку задану функцію. Вона пов'язана з обсягом інформації, яку може бути збережено в мережі, та з поняттям складності.^{[джерело?]}

Моделі можуть не збігатися послідовно на єдиному розв'язку, по-перше, через можливість існування багатьох локальних мінімумів, залежно від функції витрат та моделі. По-друге, вживаний метод оптимізації може не гарантувати збіжності, якщо він починається далеко від будь-якого локального мінімуму. По-третє, для достатньо великих даних або параметрів, деякі методи стають непрактичними. Проте, для тренування нейронної мережі АКММ було представлено рекурсивний алгоритм найменших квадратів, і для цього алгоритму може бути гарантовано збіжність за один крок.[81]

Застосування, чиєю метою є створення системи, яка добре узагальнюється до небачених зразків, стикаються з можливістю перетренування. Воно виникає в закручених або надмірно визначених системах, коли місткість мережі значно перевершує потребу в вільних параметрах. Існує два підходи, як впоруватися з перетренуванням. Першим є використовувати перехресне затверджування та подібні методи, щоби перевіряти на наявність перетренування та оптимально обирати гіперпараметри для зведення похибки узагальнення до мінімуму. Другим є використовувати якийсь із видів регуляризації. Це поняття виникає в імовірнісній (баєсовій) системі, де регуляризацію можливо виконувати шляхом обирання більшої апріорної ймовірності над простішими моделями, але також і в теорії статистичного навчання, де метою є зводити до мінімуму дві величини: «емпіричний ризик» та «структурний ризик», що грубо відповідають похибці над тренувальним набором та передбаченій похибці в небачених даних через перенавчання.

Керовані нейронні мережі, які використовують як функцію втрат середньоквадратичну похибку (СКП), для визначення довіри до тренованої моделі можуть використовувати формальні статистичні методи. СКП на затверджувальному наборі можливо використовувати для оцінювання дисперсії. Це значення потім можливо використовувати для обчислення довірчого інтервалу виходу мережі, виходячи з нормального розподілу. Здійснений таким чином аналіз довіри є статистично чинним, поки розподіл імовірності виходу залишається незмінним, і не вноситься змін до мережі.

Призначаючи нормовану експоненційну функцію, узагальнення логістичної функції, як функцію збудження шарові виходу нейронної мережі (або нормалізовану експоненційну складову в нейронній мережі на основі складових) для категорійних цільових змінних, виходи можна інтерпретувати як апостеріорні ймовірності. Це є дуже корисним у класифікації, бо дає міру впевненості в класифікаціях.

Нормалізованою експоненційною функцією збудження є:

${\displaystyle y_{i}={\frac {e^{x_{i}}}{\sum _{j=1}^{c}e^{x_{j}}}}}$

Поширеною критикою нейронних мереж, зокрема в робототехніці, є те, що для функціювання в реальному світі вони вимагають забагато тренування.^{[джерело?]} До потенційних розв'язань належить випадкове переставляння тренувальних зразків, застосування алгоритму чисельної оптимізації, який не вимагає завеликих кроків при зміні з'єднань мережі слідом за зразком, та групування зразків до так званих міні-пакетів. Поліпшення дієвості навчання та здатності до збіжності для нейронних мереж завжди було областю постійних досліджень. Наприклад, завдяки введенню для нейронної мережі АКММ алгоритму рекурсивних найменших квадратів, процесові навчання, щоби збігтися, потрібен лише один крок.[81]

Жодна нейронна мережа не розв'язала таких обчислювально складних задач, як задача про вісім ферзів, задача комівояжера чи задача розкладання великих цілих чисел.

Фундаментальна перешкода полягає в тім, що вони не відображують роботу справжніх нейронів. Зворотне поширення є критичною частиною більшості штучних нейронних мереж, тоді як в біологічних нейронних мережах такого механізму не існує.[214] Як інформацію кодовано справжніми нейронами — не відомо. Сенсо́рні нейрони генерують потенціал дії частіше, коли сенсор активовано, а м'язові клітини натягуються сильніше, коли пов'язані з ними мотонейрони частіше отримують потенціал дії.[215] Крім цієї справи передавання інформації від сенсорного нейрону до мотонейрону, про принципи обробки інформації біологічною нейронною мережею не відомо майже нічого.

Мотиви, що стоять за ШНМ, полягають не обов'язково в точному відтворенні нейронної функціональності, а в використанні біологічних нейронних мереж як натхнення. Тож головною претензією ШНМ є те, що вона втілює якийсь новий та потужний загальний принцип обробки інформації. На жаль, ці загальні принципи не є чітко визначеними. Часто претендують на те, що вони виникають із самої мережі. Це дозволяє простій статистичній асоціації (основній функції штучних нейронних мереж) бути описуваною як навчання або розпізнавання. Олександр Дьюдні зауважив, що, в результаті, штучні нейронні мережі мають «риси чогось дармового, чогось наділеного особливою аурою ледарства та виразної відсутності зацікавлення хоч би тим, наскільки добрими ці комп'ютерні системи є. Жодного втручання людської руки (та розуму), розв'язки знаходяться мов чарівною силою, і ніхто, схоже, так нічого й не навчився».[216]

Біологічні мізки використовують як поверхневі, так і глибинні схеми, як про це каже анатомія мозку,[217] демонструючи велику різноманітність інваріантності. Венг[218] стверджував, що мозок самоз'єднується великою мірою відповідно до статистики сигналів, і, відтак, послідовний каскад не здатен вловлювати всі важливі статистичні залежності.

Великі та ефективні обчислювальні нейронні мережі вимагають значних обчислювальних ресурсів.[219] В той час як мозок має апаратне забезпечення, ідеально пристосоване для задачі обробки сигналів графом нейронів, імітування навіть спрощеного нейрону на архітектурі фон Неймана може змушувати розробника нейронної мережі заповнювати багато мільйонів рядків бази даних для його з'єднань, що може вимагати споживання незмірної кількості пам'яті та дискового простору. Крім того, розробникові часто потрібно передавати сигнали багатьма цими з'єднаннями та пов'язаними з ними нейронами, і цій задачі часто мусить відповідати величезна обчислювальна потужність та час ЦП.

Шмідгубер зауважує, що реанімацію нейронних мереж у двадцять першому сторіччі великою мірою обумовлено досягненнями в апаратному забезпеченні: з 1991 до 2015 року обчислювальна потужність, особливо забезпечувана ГПЗП (на ГП), зросла приблизно в мільйон разів, зробивши стандартний алгоритм зворотного поширення придатним для тренування мереж, які є на декілька шарів глибшими, ніж раніше.[220] Застосування паралельних ГП може скорочувати тривалості тренування з місяців до днів.[219]

Нейроморфна інженерія розв'язує цю апаратну складність безпосередньо, конструюючи не-фон-нейманові мікросхеми для безпосереднього втілення нейронних мереж у схемах. Ще одна мікросхема, оптимізована для обробки нейронних мереж, зветься тензорним процесором, або ТП (англ. Tensor Processing Unit, TPU).[221]

Аргументами проти позиції Дьюдні є те, що нейронні мережі успішно застосовувалися для розв'язання багатьох складних і різнотипних задач, починаючи від автономних літальних апаратів,[222] і до виявлення шахрайств із кредитними картками та опанування гри Ґо.

Технічний письменник Роджер Бріджмен прокоментував це так:

Нейронні мережі, наприклад, знаходяться в обоймі не лише тому, що їх було піднесено до високих небес (що не було?), але також і тому, що ви можете створити успішну мережу без розуміння того, як вона працює: жмут чисел, що охоплює її поведінку, за всією ймовірністю буде «непрозорою, нечитабельною таблицею... нічого не вартою, як науковий ресурс». Незважаючи на його рішучу заяву, що наука не є технологією, Дьюдні тут, здається, ганьбить нейронні мережі як погану науку, тоді як більшість із тих, хто їх розробляє, просто намагаються бути добрими інженерами. Нечитабельна таблиця, яку може читати корисна машина, все одно буде вельми варта того, щоби її мати.

Оригінальний текст (англ.)

Neural networks, for instance, are in the dock not only because they have been hyped to high heaven, (what hasn't?) but also because you could create a successful net without understanding how it worked: the bunch of numbers that captures its behaviour would in all probability be "an opaque, unreadable table...valueless as a scientific resource". In spite of his emphatic declaration that science is not technology, Dewdney seems here to pillory neural nets as bad science when most of those devising them are just trying to be good engineers. An unreadable table that a useful machine could read would still be well worth having.

— Роджер Бріджмен, Roger Bridgman's defence of neural networks[223]

Незважаючи на те, що аналізувати, чого навчилася штучна нейронна мережа, дійсно складно, робити це набагато простіше, ніж аналізувати, чого навчилася нейронна мережа біологічна. Крім того, дослідники, які беруть участь в пошуку алгоритмів навчання для нейронних мереж, поступово розкривають загальні принципи, що дозволяють машині, що вчиться, бути успішною. Наприклад, локальне й нелокальне навчання, та поверхнева й глибинна архітектура.[224]

Прибічники гібридних моделей (що поєднують нейронні мережі та символьні підходи) стверджують, що така суміш може схоплювати механізми людського розуму краще.[225][226]

• Аналогові нейронні мережі (використовують інформацію у формі дійсних чисел);
• Двійкові нейронні мережі (оперують з інформацією, представленою в двійковому вигляді).

• Мережі з фіксованими зв'язками (вагові коефіцієнти нейронної мережі вибираються відразу, виходячи з умов завдання, при цьому: dW / dt = 0 , де W — вагові коефіцієнти мережі);
• Мережі з динамічними зв'язками (для них в процесі навчання відбувається налаштування синаптичних зв'язків, тобто dW / dt ≠ 0, де W — вагові коефіцієнти мережі).

Якщо обчислювальна мережа має представляти елементи з якоїсь множини і кожному елементу відповідає якийсь вузол мережі, таке представлення називається локальним представленням. Його просто зрозуміти і реалізувати. Проте іноді представляти елементи множини вигідніше певним шаблоном активності, розподіленої на багатьох елементах мережі. Таке представлення називають розподіленим. Використання такого представлення може збільшити ефективність мережі.[227]

• Книга Ф.Уосермена «Нейрокомп'ютерна техніка: Теорія і практика»

• Performance comparison of neural network algorithms tested on UCI data sets
• A close view to Artificial Neural Networks Algorithms
• A Brief Introduction to Neural Networks (D. Kriesel) — Illustrated, bilingual manuscript about artificial neural networks; Topics so far: Perceptrons, Backpropagation, Radial Basis Functions, Recurrent Neural Networks, Self Organizing Maps, Hopfield Networks.
• Neural Networks in Materials Science
• A practical tutorial on Neural Networks
• Applications of neural networks
• An Introduction to Deep Neural Networks.
• A Tutorial of Neural Network in Excel.
• MIT course on Neural Networks на YouTube
• A Concise Introduction to Machine Learning with Artificial Neural Networks
• Neural Networks for Machine Learning — a course by Geoffrey Hinton
• Deep Learning
• Artificial Neural Network for PHP 5.x
• Forecasting Financial Markests using Artificial Neural Networks

• Лекции по нейроинформатике
• Форум по нейросетям на BaseGroup Labs
• Описание нейросетевых алгоритмов
• Миркес Е. М., Нейроинформатика: Учеб. пособие для студентов с программами для выполнения лабораторных работ.
• Пошаговые примеры реализации наиболее известных типов нейронных сетей на MATLAB, Neural Network Toolbox
• Лекции по нейронным сетям
• Статья противника применения нейронных сетей в прогнозировании цен на акции
• Подборка статей по нейронным сетям
• Лекции по нейроинформатике и смежным вопросам обучения машин
• О приоритете авторства в вопросе пригодности любой нелинейной функции нейрона для возможности представления нейросетью любой функции многих переменных