Осциляторні нейронні мережі

Осциляторні нейронні мережі — особливий вид нейронних мереж, режимом функціонування яких є коливання активності окремих елементів (нейронів), груп елементів або всієї мережі.

Огляд осциляторних нейронних мереж

В останні роки теорія нейронних мереж привертає увагу багатьох дослідників. Інтерес до нейронних мереж породжується бажанням зрозуміти принципи роботи нервової системи і надією, що за допомогою нейронних мереж вдасться наблизитися до тієї разючою ефективності в процесах обробки інформації, якою володіють тварини і людина. До початку 80-х років в цій області був накопичений досить великий досвід, що дозволив отримати обнадійливі результати як у моделюванні біологічних феноменів, так і в розробці алгоритмів для вирішення ряду складних задач штучного інтелекту. У наступні роки з'явилася відповідна технічна база для реалізації цих алгоритмів і почалося серійне виробництво обчислювальних систем — нейрокомп'ютерів, що використовують нейромережеві принципи паралельної обробки інформації. Таким чином, відбулося формування нового наукового напрямку, що отримав назву «нейрокомп'ютингу».

У теорії нейронних мереж існує більше десяти різних напрямків (парадигм), за рішенням тих чи інших теоретичних і прикладних завдань. Особливим напрямком досліджень є вивчення роботи осциляторних нейронних мереж (ОНМ).

На відміну від інших парадигм, при вивченні ОНМ основний інтерес зосереджений на динамічних, коливальних аспектах функціонування нейронних мереж. Відповідно до цього вибирається така конструкція окремого елемента і така архітектура мережі, при яких спостерігаються регулярні, квазіперіодичних або стохастичні коливання. При цьому представляють інтерес умови виникнення коливань і умови їх синхронізації.

Вивчення ОНМ стимулюється результатами нейрофізіологічних експериментів, які вказують на істотну, а можливо і центральну роль коливальних процесів в роботі нервової системи. Одна з центральних гіпотез полягає в тому, що процес обробки інформації в нервовій системі може описуватися в термінах синхронізації активності різних нейронних структур. Ця гіпотеза була сформульована в роботах відомих нейрофізіологів: А. А. Ухтомського[1] [2] і М. М. Ліванова[3], Є. Р. Джона та Є. Базара[4].

Великий інтерес викликають експериментальні дані з дослідження тета-ритму — низькочастотної коливальної активності (4-10 герц) в септо-гіппокампальній області (див., наприклад, роботи О. С. Виноградової та інших[5]. Одна з гіпотез полягає в тому, що тета-ритм бере участь у процесі відбору та запам'ятовування інформації. Предметом інтенсивного вивчення також є нейронні механізми управління ритмічними рухами на рівні спинного мозку (див., наприклад, монографію К. В. Баєва[6]).

В останні роки інтерес до осциляторних нейронної активності знову посилився завдяки нейрофізіологічним досліджень У. Фрімена, В. Зінгера, Р. Екхорна та інших авторів. Як показано в цих роботах, в нюховій і зоровій зонах кори можуть виникати високочастотні коливання (40-60 герц) у відповідь на зовнішню стимуляцію, причому в певних умовах спостерігається синхронізація коливань у далеких один від одного ділянках кори.

Принципова важливість часової когерентності активності при обробці інформації мозком відзначається в багатьох роботах.[7][8] Так, Ф. Крик і К. Кох під час обговорення проблеми свідомості стверджують, що з теоретичної точки зору легше всього досягти одночасності імпульсації, використовуючи осциляції. Вони вважають, що свідомість передбачає наявність механізму уваги і короткочасної пам'яті, які діють в такій послідовності: за допомогою певного механізму досягається синхронна активність (у вигляді осциляцій) відповідних нейронів, і, у свою чергу, ці осциляції активують короткочасну пам'ять.

Дещо інша роль відводиться високочастотним осциляція в роботі Ч. Грея. Автори вважають, що за допомогою синхронної коливальної активності в мозку підсвідомо на ранніх стадіях обробки інформації відбувається виділення об'єкта з фону (під час так званої «предуважної» обробки). Цим не обмежується можлива роль осциляторної активності. Осциляції можуть бути необхідні для досягнення високого рівня нейронної активності, при якому тільки й активуються деякі передавальні шляху мозку:

  1. При довгостроковій модифікації синапсів, якщо для цього необхідно багаторазове повторення патерну, що підлягає запам'ятовуванню;
  2. Як основа для отримання складних динамічних режимів, оскільки система взаємодіючих осциляторів має багатий набір таких режимів, включаючи хаос.[9]

К. Фон дер Мальсбург висловив гіпотезу про те, що при обробці інформації мозком інтеграція окремих ознак об'єкта в єдиний образ на нейронній рівні означає корельовану імпульсацію нейронів. Ця гіпотеза знайшла непряме підтвердження в результатах щодо синхронізації нейронної активності в первинній зоровій корі. В дослідженнях ОНМ як моделей робота ведеться в двох взаємозалежних напрямках:

  • Математичне дослідження явищ синхронізації в ОНБ (аналітичні та комп'ютерні методи);
  • Застосування ОНМ для побудови моделей нюхової, зорової кори і рухової системи, а також пам'яті та уваги (імітаційне моделювання).

Функціональною одиницею ОНМ, як правило, є осцилятор. Залежно від цілей дослідження вибирається не тільки певна архітектура зв'язків мережі, але і конструкція окремого осцилятору. У найбільш складних і максимально наближених до реальності моделях використовуються осцилятори, що складаються з елементів з інтегративно-пороговими властивостями різного ступеня складності. Це — аналоги біологічних нейронів. Їх часто називають просто нейронами, і ми будемо використовувати цей термін. Осцилятор включає нейрони як з гальмівними, так і з збудливими зв'язками. Це призводить до того, що за певних умов сумарна активність нейронів набуває коливальний характер. Такі ОНМ досліджуються зазвичай методами імітаційного моделювання.

Інший підхід полягає в описі динаміки усередненої активності нейронних ансамблів, які в результаті взаємодії утворюють осцилятор. У ряді робіт вихідні припущення призводять до формування ОНМ з осциляторів Ван-дер-Поля. В інших — осцилятори формуються в результаті взаємодії невеликого числа нейронних ансамблів, з'єднаних збудливими і гальмівними зв'язками. Багатовимірні динамічні системи, які виникають на цьому шляху все ще, як правило, дуже складні для математичного аналізу, тому їх досліджують чисельно або редукують до ще простіших осциляторів, поведінка яких описується однією змінною — фазою коливання. Іноді мережі з таких максимально спрощених осциляторів вводяться аксіоматично. Такі ОНМ придатні для вельми наближеного, якісного опису реальних процесів. Їх головна перевага — можливість аналітичного дослідження.

Надалі ми будемо використовувати термін «нейронний осцилятор» в тому випадку, коли осцилятор утворюється в результаті взаємодії елементів за допомогою збуджуючих і гальмівних зв'язків. Осцилятори, що описуються однією змінною — фазою, ми будемо називати фазовими осциляторами.

Математичні дослідження динаміки осциляторних нейронних мереж

Осцилятор — це множина спільно функціонуючих елементів (нейронів або нейронних ансамблів), здатних працювати в коливальному режимі. З точки зору математичного моделювання зручно представляти ОНМ у вигляді окремих, взаємодіючих між собою осциляторів.

Відмінною особливістю деяких осциляторів є наявність в їх структурі збуджуючих і гальмівних нейронів (нейронних популяцій), що розрізняються за характером впливу: збудливі нейрони збільшують, а гальмівні зменшують активність інших елементів мережі. Такі осцилятори ми будемо називати нейронними осциляторами. Осцилятор описується системою диференціальних (або різницевих) рівнянь, іноді з випадковим шумом. Таких рівнянь може бути багато (кілька десятків або сотень) у разі детального обліку специфіки біологічних нейронів.[10] Якщо ж вивчення проводиться на рівні нейронних популяцій, то розглядаються зазвичай два-п'ять рівнянь, що описують усереднену по ансамблю динаміку кожної популяції. У разі фазового осцилятору розглядається лише одна змінна — фаза коливань.

Залежно від архітектури зв'язків між осциляторами розглядають ОНМ двох типів.

  • Повнозв'язні мережі осциляторів. У цьому випадку кожний з осциляторів пов'язаний з усіма іншими осциляторами.
  • Мережі з локальними зв'язками. У цьому випадку кожен осцилятор пов'язаний лише з осциляторами зі свого оточення фіксованого радіусу. Іноді враховуються тимчасові затримки в зв'язках.

У більшості розглянутих робіт передбачається, що величина взаємодії (сила зв'язку) осциляторів мала. Тоді можна використовувати асимптотичні методи: той чи інший варіант теорії усереднення або ж перехід до безперервної апроксимації. Інша можливість — розгляд нейронних мереж, що складаються з дуже великого числа осциляторів. Тут використовуються асимптотичні методи, а також метод перенормування (укрупнення осциляторів). Якщо не вдається отримати аналітичні результати, то дослідження проводиться за допомогою імітаційного моделювання.

Динаміку осцилятору зручно представляти як рух уздовж траєкторії у фазовому просторі. Тоді регулярним коливанням буде відповідати граничний цикл, квазіперіодичних — тор, стохастичним — дивний (стохастичний) атрактор. При зміні параметрів мережі можуть відбуватися біфуркації (фазові переходи), в результаті яких з'являються і зникають аттрактори системи.

Приклади ОСН
  • Повністю зв'язані ОСН
  • ОСН з неповними зв'язками
  • ОСН із затримками у зв'язках

Посилання
  1. Ухтомский А. А. Доминанта. — М.: Наука, 1966.
  2. Ухтомский А. А. Избранные труды. — Л.: Наука, 1978.
  3. Ливанов М. Н. Нейронные механизмы памяти // Успехи физиол. наук, 1975, Т.6, С.66-89.
  4. Basar E. EEG-brain dynamics. Relation between EEG and brain evoked potentials. — Elsevier, North- Holland, Amsterdam, 1980.
  5. Виноградова О. С. Гиппокамп и память. — М-: Наука, 1975.
  6. Баев К. В. Нейронные механизмы программирования спинным мозгом ритмических движений. — Киев: Наукова думка, 1984.
  7. Abeles М. Local cortical circuits. An electrophysiological study. — Springer, Berlin, 1982.
  8. Atiya A., Baldi P. Oscillations and synchronizations in neural networks: an exploration of the labelling hypothesis // Intern. J. Neural Systems, 1989, V. 1, N2, P. 103—124.
  9. Basti G., Penone A. On the cognitive function of deterministic chaos in neural networks // In: Proc. of IEEE/IJCNN-89 Intern. Joint Conf. on Neural Networks, Washington, D. C., 1989, V.I, P. 657—663.
  10. Крюков В. И. и др. Метастабильные и неустойчивые состояния в мозге. — ОНТИ НЦБИ АН СССР, Пу-щино, 1986.
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.