Резервуарне обчислення

Резервуа́рне обчи́слення (англ. reservoir computing) — це система обчислення, яку можна розглядати як розширення нейронних мереж.[1] Як правило, входовий сигнал подається до незмінної (випадкової) динамічної системи, що називають резервуаром (англ. reservoir), і динаміка резервуара відображує вхід до вищого виміру. Потім простий механізм зчитування (англ. readout) тренують читати стан резервуару й відображувати його на бажаний вихід. Головна перевага полягає в тім, що тренування виконується лише на стадії зчитування, а резервуар є незмінним. Двома основними типами резервуарних обчислень є рідкі скінченні автомати[2] та мережі з відлунням стану.[3][4]

Резервуар

Резервуар складається з зібрання рекурентно з'єднаних вузлів. Структура зв'язності, як правило, є випадковою, а вузли, як правило, є нелінійними. Загальна динаміка резервуара задається його входом, а також залежить від минулого. Багате зібрання динамічних відображень входів-виходів є вирішальною перевагою над простими нейронними мережами з часовою затримкою.

Зчитування

Зчитування здійснюється із застосуванням лінійного перетворення виходу резервуару. Це перетворення підлаштовують до потрібної задачі, застосовуючи лінійну або гребеневу регресію з використанням навчального сигналу.

Типи

Контекстно-ревербераційна мережа

Раннім прикладом резервуарних обчислень була контекстно-ревербераційна мережа (англ. context reverberation network).[5] В цій архітектурі входовий шар подається до динамічної системи високої розмірності, яку читають тренованим одношаровим перцептроном. Було описано два види динамічних систем: рекурентна нейронна мережа з незмінними випадковими вагами, і неперервна реакційно-дифузна система, натхнена моделлю морфогенезу Алана Тюрінга. У тренованому шарі перцептрон пов'язує поточний вхід із сигналами, які реверберують у динамічній системі; про останню казали, що вона забезпечує динамічний «контекст» для входів. Мовою пізніших праць, реакційно-дифузна система слугувала резервуаром.

Мережа з відлунням стану

Зворотне поширення — декореляція

Зворотне поширення — декореляція (ЗПДК, англ. backpropagation-decorrelation, BPDC)

Рідкий скінченний автомат

Резервуарне обчислення для структурованих даних

Модель деревної мережі з відлунням стану (англ. Tree Echo State Network, TreeESN)[6] являє собою узагальнення системи резервуарного обчислення для деревно структурованих даних.

Див. також

Примітки
  1. Schrauwen, Benjamin, David Verstraeten, and Jan Van Campenhout. «An overview of reservoir computing: theory, applications, and implementations.» Proceedings of the European Symposium on Artificial Neural Networks ESANN 2007, pp. 471—482. (англ.)
  2. Mass, Wolfgang, T. Nachtschlaeger, and H. Markram. «Real-time computing without stable states: A new framework for neural computation based on perturbations.» Neural Computation 14(11): 2531—2560 (2002). (англ.)
  3. Jaeger, Herbert, «The echo state approach to analyzing and training recurrent neural networks.» Technical Report 154 (2001), German National Research Center for Information Technology. (англ.)
  4. Echo state network, Scholarpedia (англ.)
  5. Kirby, Kevin. «Context dynamics in neural sequential learning.» Proceedings of the Florida Artificial Intelligence Research Symposium FLAIRS (1991), 66-70. (англ.)
  6. Gallicchio, Claudio; Micheli, Alessio (2013). Tree Echo State Networks. Neurocomputing 101: 319–337. (англ.)

Література
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.