Нейронна мережа Коско
Нейронна мережа Коско (Двонаправлена асоціативна пам'ять — ДАП) — нейронна мережа, розроблена Бартом Коско. Це одношарова нейронна мережа зі зворотними зв'язками, базується на двох ідеях: теорії адаптивного резонансу Стефана Гросберга і автоасоціативній пам'яті Хопфілда. Двонаправлена асоціативна пам'ять (ДАП) є гетероасоціативною; вектор вхідних сигналів надходить на один набір нейронів, а відповідний вихідний вектор виробляється на іншому наборі нейронів. Як і мережа Хопфілда, ДАП здатна до узагальнення, виробляючи правильні реакції, незважаючи на спотворені входи. Крім того, можуть бути реалізовані адаптивні версії ДАП, що виділяють еталонний образ із зашумленних прикладів. Ці можливості сильно нагадують процес мислення людини і дозволяють штучним нейронних мережах зробити крок у напрямку моделювання мозку.
Синхронна ДАП
Мережа складається з двох шарів елементів, між якими є двосторонні зв'язки, з'єднані з елементами за принципом усі з усіма. Тому для опису мережі може використовуватися матриця ваг. У разі, коли ця матриця квадратна і симетрична, ДАП перетворюється на автоасоціативну мережу Хопфілда.
Коли на вхід мережі подається якийсь стимул, який є зашумленими, то передача сигналів усередині ДАП відбувається так довго поки мережа не знайде найбільш близький еталон (асоціацію), якому раніше навчали мережу. Цей процес можна інтерпретувати як спогад і стабілізацію пам'яті.
Неперервна ДАП
Безперервні асинхронні ДАП відкидають синхронність і розривність, але функціонують в основному аналогічно дискретним версіям.
У синхронної ДАП формальні нейрони в шарах 1 і 2 синхронні, тобто кожен нейрон має пам'ять, причому всі нейрони змінюють стани одночасно. У асинхронної системі будь-якої нейрон вільний змінювати стан в будь-який час, коли його вхід наказує це зробити.
При визначенні функції активації нейрона використовувався простий поріг, тим самим утворюючи розривною передатної функції нейронів. До цього моменту стає відомий метод зворотного поширення помилки, тому з'являється можливість створити неперевну модифікацію ДАП. Було показано, що сигмоїда здатна посилювати низькорівневі сигнали, в той же час стискаючи динамічний діапазон нейронів. Неперевна ДАП може мати сигмоїдну функцію з величиною l, близькою до одиниці, утворюючи тим самим нейрони з плавною і неперевною реакцією.
Адаптивна ДАП
Адаптивна ДАП змінює свої ваги в процесі функціонування. Це означає, що подача на вхід мережі навчального набору вхідних векторів змушує її змінювати енергетичний стан до отримання резонансу. Поступово короткочасна пам'ять перетворюється на довгострокову пам'ять, настроюючи мережу в результаті її функціонування. У процесі навчання вектори подаються на шар А, а асоційовані вектори на шар В. Один з них або обидва вектора можуть бути зашумленими версіями еталону; мережа навчається вихідним векторам, вільним від шуму. У цьому випадку вона витягує сутність асоціацій, навчаючись еталонам, хоча «бачила» тільки зашумлені апроксимації.
Конкуруюча ДАП
У багатьох конкуруючих нейронних системах спостерігаються деякі види конкуренції між нейронами. У нейронах, що обробляють сигнали від сітківки, латеральне гальмування призводить до збільшення виходу найбільш високоактивних нейронів за рахунок сусідніх. Такі системи збільшують контрастність, піднімаючи рівень активності нейронів, під'єднаних до яскравої області сітківки, в той же час ще більше ослаблюючи виходи нейронів, під'єднаних до темних областей.
У ДАП конкуренція реалізується взаємним з'єднанням нейронів усередині кожного шару за допомогою додаткових зв'язків. Ваги цих зв'язків формують іншу вагову матрицю з позитивними значеннями елементів головної діагоналі і негативними значеннями інших елементів.
Див. також
Література
- Kosko B. Bi-directional associative memories // IEEE Transactions on Systems, Man and Cybernetics. — 1987. — С. 18(1):49-60.
- Kosko B. Competitive adaptive bi-directional associative memories. // In Proceedings of the IEEE First International Conference on Neural Networks, eds. M.Caudill and C.Butler. — San Diego: 1987. — С. vol. 2, pp. 759-66.
- Kosko B. Constructing an associative memory. — 1987. — С. pp. 137-44.
- Kosko В., Guest С. Optical bi-directional associative memories. // Sosiety for Photo-optical and Instrumentation Engineers Proceedings: Image Understanding. — 1987. — С. 758:11-18.
- Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика = Neural Computing. Theory and Practice. — М.: Мир, 1992. — 240 с. — ISBN 5-03-002115-9