Автокодувальник

Існують різні методики запобігання навчанню автокодувальниками тотожної функції та покращення їхньої здатності вловлювати важливу інформацію та навчатися цінніших подань.

Проста схема одношарового розрідженого автокодувальника. Жовтогарячі приховані вузли є збудженими, тоді як блідо-жовті є не збудженими. Збудженість залежить від входу.

Навчання подань у спосіб, який заохочує розрідженість, покращує продуктивність на задачах класифікування.[16] Розріджені автокодувальники (англ. Sparse autoencoders, SAE) можуть містити більше (а не менше) прихованих вузлів, аніж входів, але лише невеликому числу цих прихованих вузлів дозволено бути збудженими одночасно (власне, розрідженість).[12] Це обмеження змушує модель реагувати на унікальні статистичні ознаки тренувальних даних.

Зокрема, розріджений автокодувальник є автокодувальником, чий тренувальний критерій містить розріджувальний штраф ${\displaystyle \Omega ({\boldsymbol {h}})}$ шару коду ${\displaystyle {\boldsymbol {h}}}$.

${\displaystyle {\mathcal {L}}(\mathbf {x} ,\mathbf {x'} )+\Omega ({\boldsymbol {h}})}$

Якщо пригадати, що ${\displaystyle {\boldsymbol {h}}=f({\boldsymbol {W}}{\boldsymbol {x}}+{\boldsymbol {b}})}$, то цей штраф заохочує модель збуджувати (тобто, значення виходу близько 1) на основі даних входу особливі області мережі, одночасно гальмуючи всі інші нейрони (тобто, щоби вони мали значення виходу близько 0).[17]

Цієї розрідженості можливо досягати шляхом формулювання членів штрафу різними способами.

• Одним зі способів є використовувати розходження Кульбака — Лейблера (КЛ, KL).[16][17][18][19] Нехай

${\displaystyle {\hat {\rho _{j}}}={\frac {1}{m}}\sum _{i=1}^{m}[h_{j}(x_{i})]}$

буде усередненим збудженням прихованого вузла ${\displaystyle j}$ (усередненим над ${\displaystyle m}$ тренувальних зразків). Запис ${\displaystyle h_{j}(x_{i})}$ вказує на значення входу, що ви́кликало це збудження. Щоби заохотити більшість нейронів бути не збудженими, ${\displaystyle {\hat {\rho _{j}}}}$ потрібно бути близьким до 0. Тому цей метод накладає обмеження ${\displaystyle {\hat {\rho _{j}}}=\rho }$, де ${\displaystyle \rho }$ є параметром розрідженості, значенням, близьким до 0. Член штрафу ${\displaystyle \Omega ({\boldsymbol {h}})}$ набуває вигляду, який штрафує ${\displaystyle {\hat {\rho _{j}}}}$ за значне відхиляння від ${\displaystyle \rho }$, використовуючи розходження КЛ:

${\displaystyle \sum _{j=1}^{s}KL(\rho ||{\hat {\rho _{j}}})=\sum _{j=1}^{s}\left[\rho \log {\frac {\rho }{\hat {\rho _{j}}}}+(1-\rho )\log {\frac {1-\rho }{1-{\hat {\rho _{j}}}}}\right]}$

де ${\displaystyle j}$ є підсумовуванням над ${\displaystyle s}$ прихованих вузлів у прихованім шарі, а ${\displaystyle KL(\rho ||{\hat {\rho _{j}}})}$ є КЛ-розходженням між випадковою змінною Бернуллі з середнім ${\displaystyle \rho }$ та випадковою змінною Бернуллі з середнім ${\displaystyle {\hat {\rho _{j}}}}$.[17]

• Іншим способом досягання розрідженості є застосування до збудження членів регуляризації L1 або L2, масштабованих певним параметром ${\displaystyle \lambda }$.[20] Наприклад, у випадку L1 функція втрат набуває вигляду

${\displaystyle {\mathcal {L}}(\mathbf {x} ,\mathbf {x'} )+\lambda \sum _{i}|h_{i}|}$

• Наступною пропонованою стратегією примушування до розрідженості є занулювати вручну всі крім найсильніших збуджень прихованих вузлів (k-розріджений автокодувальник, англ. k-sparse autoencoder).[21] k-розріджений автокодувальник ґрунтується на лінійному автокодувальнику (тобто, з лінійною передавальною функцією) та ув'язаних вагах (англ. tied weights). Визначення найсильніших збуджень можливо досягати впорядковуванням цих збуджень та залишанням лише перших k значень, або застосовуванням випрямляльних прихованих вузлів з порогами, які адаптивно підлаштовуються доти, поки не буде виявлено k найбільших збуджень. Це обирання діє як згадані раніше члени регуляризації, оскільки запобігає відбудовуванню моделлю входу із застосуванням занадто великого числа нейронів.[21]

Знешумлювальні автокодувальники (ЗАК, англ. denoising autoencoders, DAE) намагаються досягати доброго подання шляхом зміни критерію відбудови.[2]

Дійсно, ЗАКи беруть частково зіпсований вхід, і тренуються відновлювати первинний неспотворений вхід. На практиці метою знешумлювальних кодувальників є очищування зіпсованого входу, або знешумлювання. Цьому підходові притаманні два припущення:

• Подання вищого рівня є відносно стабільними й стійкими до псування входу;
• Щоби виконувати знешумлювання добре, моделі потрібно виділяти ознаки, які вловлюють корисну структуру в розподілі входу.[3]

Іншими словами, знешумлювання пропагується як тренувальний критерій для навчання виділяння корисних ознак, що утворюватимуть кращі подання входу вищого рівня.[3]

Процес тренування ЗАК працює наступним чином:

• Початковий вхід ${\displaystyle x}$ спотворюється в ${\displaystyle {\boldsymbol {\tilde {x}}}}$ шляхом стохастичного відображення ${\displaystyle {\boldsymbol {\tilde {x}}}\thicksim q_{D}({\boldsymbol {\tilde {x}}}|{\boldsymbol {x}})}$.
• Цей пошкоджений вхід ${\displaystyle {\boldsymbol {\tilde {x}}}}$ відтак відображується до прихованого подання таким же процесом, як і в стандартного автокодувальника, ${\displaystyle {\boldsymbol {h}}=f_{\theta }({\boldsymbol {\tilde {x}}})=s({\boldsymbol {W}}{\boldsymbol {\tilde {x}}}+{\boldsymbol {b}})}$.
• Із цього прихованого подання модель відбудовує ${\displaystyle {\boldsymbol {z}}=g_{\theta '}({\boldsymbol {h}})}$.[3]

Параметри моделі ${\displaystyle \theta }$ та ${\displaystyle \theta '}$ тренуються мінімізувати усереднену над усіма тренувальними даними похибку відбудовування, зокрема, мінімізуючи різницю між ${\displaystyle {\boldsymbol {z}}}$ та первинним непошкодженим входом ${\displaystyle {\boldsymbol {x}}}$.[3] Зауважте, що кожного разу, як моделі подається випадковий зразок ${\displaystyle {\boldsymbol {x}}}$, на основі ${\displaystyle q_{D}({\boldsymbol {\tilde {x}}}|{\boldsymbol {x}})}$ стохастично породжується нова пошкоджена версія.

Вищезгаданий тренувальний процес можливо застосовувати із будь-яким видом процесу пошкоджування. Деякими прикладами можуть бути адитивний ізотропний гауссів шум, маскувальний шум (випадково обрана частка входу кожного зразка примусово встановлюється в 0) або сольовий-та-перцевий шум (випадково обрана частка входу кожного зразка примусово встановлюється у своє мінімальне або максимальне значення з рівномірною ймовірністю).[3]

Пошкоджування входу виконується лише під час тренування. Після тренування пошкоджування не додається.

Стягувальний автокодувальник (англ. contractive autoencoder, CAE) додає до своєї цільової функції явний регуляризатор, що змушує модель навчатися кодування стійко до незначних варіацій значень входу. Цей регуляризатор відповідає нормі Фробеніуса матриці Якобі збуджень кодувальника відносно входу. Оскільки цей штраф застосовується лише до тренувальних зразків, цей член змушує модель навчатися корисної інформації про тренувальний розподіл. Остаточна цільова функція має наступний вигляд:

${\displaystyle {\mathcal {L}}(\mathbf {x} ,\mathbf {x'} )+\lambda \sum _{i}||\nabla _{x}h_{i}||^{2}}$

Цей автокодувальник названо стягувальним, оскільки він заохочується відображувати окіл точок входу до меншого околу точок виходу.[2]

ЗАК є пов'язаним із САК: на границі малого гауссового шуму входу ЗАКи роблять функцію відбудови стійкою до малих, але скінченного розміру, збурень входу, тоді як САКи роблять витягнуті ознаки стійкими до нескінченно малих збурень входу.

Конкретний автокодувальник (англ. concrete autoencoder) розроблено для обирання дискретних ознак.[22] Конкретний автокодувальник примушує латентний простір складатися лише із вказаного користувачем числа ознак. Конкретний автокодувальник використовує неперервне послаблення категорійного розподілу, щоби дозволити градієнтам проходити крізь шар обирання ознак, що уможливлює застосування стандартного зворотного поширення для навчання оптимальної підмножини ознак входу, яка мінімізує втрати відбудови.

Варіаційні автокодувальники (ВАКи, англ. variational autoencoders, VAEs) належать до сімейств варіаційних баєсових методів. Незважаючи на архітектурні подібності з базовими автокодувальниками, ВАКи є архітектурою з відмінними цілями та з абсолютно іншим математичним формулюванням. Латентний простір у цьому випадку складається з суміші розподілів замість фіксованого вектору.

За заданого набору даних входу ${\displaystyle \mathbf {x} }$, описуваного невідомою функцією ймовірності ${\displaystyle P(\mathbf {x} )}$, та багатовимірного вектору латентного кодування ${\displaystyle \mathbf {z} }$, метою є змоделювати ці дані як розподіл ${\displaystyle p_{\theta }(\mathbf {x} )}$, де ${\displaystyle \theta }$ визначено як набір таких параметрів цієї мережі, що ${\displaystyle p_{\theta }(\mathbf {x} )=\int _{\mathbf {z} }p_{\theta }(\mathbf {x,z} )d\mathbf {z} }$.

Для тренування багатошарових глибинних автокодувальників Джефрі Гінтон розробив методику глибинної мережі переконань. Його метод полягає в опрацюванні кожної сусідньої пари з двох шарів як обмеженої машини Больцмана, щоби попереднє тренування наближувало добрий розв'язок, і в наступнім застосуванні зворотного поширення для тонкого налаштування результатів.[23]

Дослідники дискутували, чи буде спільне тренування (тобто тренування всієї архітектури разом із єдиною глобальною метою відбудовування для оптимізування) для глибинних автокодувальників кращим.[24] Дослідження 2015 року показало, що спільне тренування навчається кращих моделей разом з показовішими ознаками для класифікування, у порівнянні з пошаровим методом.[24] Проте їхні експерименти показали, що успіх спільного тренування сильно залежить від прийнятих стратегій регуляризації.[24][25]

Графік перших двох головних компонент (ліворуч) та двовимірного прихованого шару лінійного автокодувальника (праворуч), застосованих до набору даних моди MNIST.[26] Ці дві моделі, будучи обидві лінійними, вчаться охоплювати один і той же підпростір. Проєкції точок даних є й справді ідентичними, крім повороту підпростору, до якого МГК є інваріантним.

Знижування розмірності було одним із перших застосувань глибинного навчання.[2]

Гінтон для свого дослідження 2006 року[23] попередньо тренував багатошаровий автокодувальник стосом ОМБ, а потім використовував їхні ваги, щоби ініціалізувати автокодувальник із поступово меншими прихованими шарами, поки не вперся у вузьке місце з 30 нейронів. Отримані в результаті 30 вимірів коду давали меншу похибку відбудови в порівнянні з першими 30 компонентами методу головних компонент (МГК), і навчалися подання, що було якісно легшим для інтерпретування, чітко відокремлюючи кластери даних.[2][23]

Подавання вимірів може покращувати продуктивність у таких задачах як класифікування.[2] Дійсно, ознакою якості знижування розмірності є розміщування семантично пов'язаних зразків один біля одного.[27]

Відбудова зображень 28×28 пікселів автокодувальником з розміром коду в два (двовузловий прихований шар) та відбудова з перших двох головних компонент МГК. Зображення походять з набору даних моди MNIST.[26]

Якщо застосовуються лінійні передавальні функції, або лише єдиний сигмоїдний прихований шар, то оптимальний розв'язок для автокодувальника є тісно пов'язаним із методом головних компонент (МГК).[28][29] Ваги автокодувальника з єдиним прихованим шаром розміру ${\displaystyle p}$ (де ${\displaystyle p}$ є меншим за розмір входу) охоплюють той самий векторний підпростір, що охоплюється й першими ${\displaystyle p}$ головними компонентами, а вихід автокодувальника є ортогональною проєкцією на цей підпростір. Ваги автокодувальника не дорівнюють головним компонентам, і загалом не є ортогональними, проте головні компоненти може бути відновлено з них шляхом застосування сингулярного розкладу матриці.[30]

Проте потенціал автокодувальників полягає у їхній нелінійності, що дозволяє цій моделі навчатися потужніших узагальнень порівняно з МГК та відбудовувати вхід із значно нижчими втратами інформації.[23]

Інформаційний пошук виграє́ зокрема завдяки зниженню розмірності, бо пошук в певних типах просторів низької вимірності можете ставати дієвішим. Автокодувальники дійсно застосовували до семантичного гешування, запропонованого Салахутдіновим та Гінтоном 2007 року.[27] Шляхом тренування цього алгоритму виробляти двійковий код низької вимірності, всі записи бази даних може бути збережено в геш-таблиці, що відображує вектори двійкового коду на записи. Ця таблиця відтак підтримуватиме інформаційний пошук, повертаючи всі записи з таким же двійковим кодом, як і в запиту, або дещо менш подібні записи шляхом перекидання деяких бітів із кодування запиту.

Іншим застосуванням для автокодувальників є виявляння аномалій.[31][32][33][34] Шляхом навчання відтворювати найпомітніші ознаки в тренувальних даних за деякого з описаних вище обмежень цю модель заохочують навчатися точно відтворювати найчастіше спостережувані характеристики. Стикаючись із аномаліями, модель повинна погіршувати свою відтворювальну продуктивність. В більшості випадків для тренування автокодувальника використовують лише дані з нормальними зразками, в інших частота аномалій є невеликою в порівнянні з набором спостережень, тож їхнім внеском до навченого подання можливо нехтувати. Після тренування автокодувальник точно відбудовуватиме «нормальні» дані, в той же час зазнаючи невдач у цьому з незнайомими аномальними даними.[32] Похибку відбудови (похибку між первинними даними та їхньою низьковимірною відбудовою) використовують як показник аномальності для виявляння аномалій.[32]

Проте нещодавні публікації показали, що певні автокодувальні моделі можуть, як не дивно, бути дуже вправними у відбудовуванні аномальних зразків, і відтак бути нездатними надійно виконувати виявляння аномалій.[35][36]

Характеристики автокодувальників є корисними в обробці зображень.

Один із прикладів можливо знайти у стисканні зображень із втратами, де автокодувальники перевершували інші підходи, й довели конкурентноспроможність у порівнянні з JPEG 2000.[37][38]

Іншим корисним застосуванням автокодувальників у попередній обробці зображень є знешумлювання зображень.[39][40][41]

Автокодувальники знайшли застосування у вимогливіших контекстах, таких як медична візуалізація, де їх використовували як для знешумлювання зображень,[42] так і для надвисокої роздільної здатністі.[43][44] У діагностиці за допомогою зображень, в експериментах застосовували автокодувальники для виявляння раку молочної залози[45] та для моделювання зв'язку між когнітивним спадом хвороби Альцгеймера та латентними ознаками автокодувальника, натренованого за допомогою МРТ.[46]

2019 року молекули, породжені варіаційними автокодувальниками, було перевірено експериментально на мишах.[47][48]

Нещодавно система складених автокодувальників (англ. stacked autoencoder) продемонструвала обнадійливі результати в передбачуванні популярності публікацій у соціальних мережах,[49] що є корисним для стратегій реклами через Інтернет.

Автокодувальник застосовують для машинного перекладу, що зазвичай називають нейронним машинним перекладом(НМП).[50][51] На відміну від стандартних автокодувальників, вихід не збігається із входом — його мова є іншою. В НМП тексти розглядають як послідовності для кодування в процедурі навчання, тоді як на декодувальому боці породжуються послідовності цільовою мовою. Мовно-специфічні автокодувальники включають до навчальної процедури додаткові мовознавчі ознаки, такі як ознаки розкладу китайської мовм.[52]