Конекціонізм

Конекціонізм — це назва підходу у сфері когнітивної науки, що намагається пояснити психічні явища за допомогою штучних нейронних мереж (ШНМ).[1]

Конекціоністична (ШНМ) модель з прихованим шаром

Основні принципи

Принцип централізації конекціонізму полягає в тому, що психічні явища можна описати взаємопов'язаними мережами простих і часто єдиних елементів. Форма з'єднань і елементів може змінюватися від моделі до моделі. Наприклад, підрозділи в мережі могли б представляти нейрони та зв'язки могли представляти синапси, як у людському мозку.

Поширення активації

Більшість конекціоністичних моделей змінюються з часом. Тісно пов'язаний і дуже поширений аспект конекціоністичних моделей це — активація. У будь-який час пристрій в мережі має активацію, яка є числовим значенням, призначеним для представлення деякого аспекту пристрою. Наприклад, якщо елементи в моделі є нейронами, активація може представляти ймовірність того, що нейрон генерує спайк потенціалу дії. Активація зазвичай поширюється на всі інші частини, пов'язані з нейроном. Поширення активації завжди є особливістю моделей нейронних мереж, і вона дуже поширена в моделях, що використовуються когнітивними психологами.

Нейронні мережі

Нейронні мережі сьогодні є найпоширенішою моделлю конекціонізму. Хоча існує велика різноманітність моделей нейронних мереж, вони майже завжди дотримуються двох основних принципів щодо розуму, а саме:

  1. Будь-який психічний стан можна описати як (N)-вимірний вектор числових значень активації над нейронними елементами в мережі.
  2. Пам'ять створюється шляхом зміни сили зв'язків між нейронними елементами. Міцності з'єднання або «ваги», як правило, представлені у вигляді N × N матриці.

Більшість різновидів моделей нейронних мереж походить від:

  • Інтерпретація елементів: Елементи можуть бути інтерпретовані як нейрони або групи нейронів.
  • Визначення активації: Активація може бути визначена різними способами. Наприклад, в машині Больцмана активація інтерпретується як ймовірність генерації спайку, щодо потенціалу дії і визначається за допомогою логістичної функції.
  • Алгоритм навчання: Різні мережі змінюють свої з'єднання по-різному. Загалом, будь-яка математично визначена зміна вагових коефіцієнтів зв'язку з часом називається «алгоритмом навчання».

Конекціоністи згодні з тим, що рекурентні нейронні мережі (спрямовані мережі, в яких з'єднання мережі можуть утворювати орієнтований цикл) є кращою моделлю мозку, ніж прямі нейронні мережі (спрямовані мережі без циклів, так звані САГ). Багато рекурентні конекціоністичні зв'язки також включають теорію динамічних систем. Багато дослідників, такі як конекціоніст Павло Смоленський, стверджували, що моделі конекціоністів будуть розвиватися у напрямку до цілком безперервного, багатовимірного, нелінійного, динамічного підходу.

Біологічний реалізм

Конекціоністична робота взагалі не повинна бути біологічно реалістичною, отже, страждає від неврологічної достовірності. [2][3][4][5][6][7][8]

Навчання

Вагові коефіцієнти в нейронній мережі регулюються відповідно до певного навчального правила або алгоритму, наприклад Геббова теорія. Таким чином, конекціоністи створили багато складних навчальних процедур для нейронних мереж. Навчання завжди містить в собі зміну ваги з'єднання. Загалом, дослідники включають математичні формули для визначення зміни ваг, коли задаються набори даних, що складаються з активаційних векторів для деяких підмножин нейронних складових. Кілька досліджень були зосереджені на розробці методів навчання та навчання, заснованих на конекціонізмі.[9]

Оформляючи навчання таким чином, конекціоністи мають багато інструментів. Дуже поширеною стратегією в методах навчання зв'язування є включення градієнтного спуску над поверхнею помилки в просторі, визначеному ваговою матрицею. Все навчання градієнтного спуску в моделях зв'язку передбачає зміну кожної ваги частковою похідною поверхні похибки щодо ваги. Метод зворотного поширення помилки (МЗПП), вперше здобув популярність у 1980-х роках, та є, мабуть, найбільш відомим алгоритмом сходження градієнтних зв'язків на сьогодні.

Історія

Історію конекціонізму можна простежити аж до ідей, яким більш ніж 100 років, але вони були лише спекуляціями до середини-кінця 20-го століття.

Паралельно розподілена обробка

Переважний конфігураційний підхід був спочатку відомий, як паралельно розподілена обробка (PDP). Це був штучний нейромережевий підхід, який підкреслював паралельний характер нейронної обробки і розподілений характер нейронних уявлень. Це забезпечило загальну математичну основу для дослідників. В основу проекту увійшли вісім основних аспектів:

  • Набір блоків обробки, завжди представлений набором цілих чисел.
  • Активація для кожного блоку, представлена вектором залежних від часу функцій.
  • Функція виходу для кожного блоку, представлена вектором функцій на активаціях.
  • Шаблон зв'язку між елементами, представлений матрицею дійсних чисел, що вказує на міцність з'єднання.
  • Правило розповсюдження активації через з'єднання, представлене функцією на виході.
  • Правило активації для об'єднання входів до блоку, щоб визначити його нову активацію, представлену функцією на поточну активацію і поширення.
  • Правило навчання для зміни підключень на основі досвіду, представлене зміною ваг на основі будь-якої кількості змінних.
  • Середовище, яке надає системі досвід, представлено наборами векторів активації для деякої підмножини.

Багато досліджень, які призвели до розвитку PDP, були зроблені в 1970-х роках, але PDP стала популярною в 1980-х роках з виходом книг Паралельно розподілена обробка: дослідження в мікроструктурі пізнання — том 1 (основи) і том 2 (Психологічні та біологічні моделі) Джеймса Л. МакКлелланда, Девіда Е. Румельхарта та групи дослідників PDP. Книги тепер вважаються основоположними роботами конектівістів, і тепер загальноприйнятим є повне прирівняння до PDP і конекціонізму, хоча термін «конекціонізм» не використовується в книгах.

Роботи зроблені раніше

PDP були теоріями перцептронів дослідників, таких як Френк Розенблат з 1950-х і 1960-х років. Але моделі персептрона стали менш популярними через книгу «Перцептрони» Марвіна Мінського і Сеймура Паперта, опублікованого в 1969 році. Він продемонстрував обмеженість функцій, які можуть розраховувати одношарові (без прихованого шару) перцептрони, показуючи, що навіть прості функції, такі як виключна диз'юнкція (XOR), не можуть бути належним чином оброблені. Книги PDP подолали це обмеження, показавши, що багаторівневі, нелінійні нейронні мережі були набагато більш надійними і могли бути використані для широкого спектра функцій.[10]

Ще до цього дослідники виступали за стильові моделі конекціоністів, наприклад, у 1940-х і 1950-х роках, Воррен Маккалох і Вальтер Піттс (Штучний нейрон), Дональд Олдінг Хебб і Карл Лашлі. Мак-Каллох і Піттс показали, як нейронні системи можуть реалізовувати логіку першого порядку: їх класичний документ «Логічне обчислення ідей, іманентних в нервовій діяльності» (1943). На них вплинула важлива робота Ніколя Рашевського в 1930-х роках. Гебб багато в чому сприяв спекуляціям щодо функціонування нейронів, і запропонував принцип навчання, який все ще використовується сьогодні. Лашлі виступав за розподілені репрезентації, що внаслідок його невдачі могли б винайти щось подібне до локалізованої енграми за роки експериментів.

Конекціонізм окремо від PDP

Хоча PDP є домінуючою формою з'єднання, іншу теоретичну роботу слід також класифікувати як конектіоніст.

Багато конекціоністичних принципів можна простежити аж до ранніх робіт в психології, наприклад робота Вільяма Джеймса.[11] Психологічні теорії, засновані на знаннях про людський мозок, були модними наприкінці 19 століття. Ще в 1869 році невролог Джон Хьюлінгз Джексон виступав за багаторівневі, розподілені системи. Виходячи з цього погляду, Принципи Психології Герберта Спенсера, 3-е видання (1872), та Проект наукової психології Зигмунда Фрейда(складений 1895), висунули теорії конекціонізма або прото-конекціонізма. Це були спекулятивні теорії. Але на початку 20-го століття Едвард Лі Торндайк експериментував з вивченням та поклав початок мережі конекціонізму.

Фрідріх Гаєк самостійно створив модель навчання геббіанської синапси, та представив її в 1920 році. Також вчений розвинув цю модель у глобальну теорію мозку, що складається з мереж, які створюють синапси Хебба в великі системи карт та мережі пам'яті. Проривна робота Гаєка була процитована Френком Розенблаттом у своїй персептронній роботі.

Іншою формою моделі конекціонізму була реляційна мережа, розроблена лінгвістом Сіднеєм Ламбом у 1960-х роках. Реляційні мережі використовувалися лише лінгвістами і ніколи не були уніфіковані з підходом PDP. Як наслідок, їх зараз використовують дуже мало дослідників.

Існують також гібридні моделі конекціонізму, в основному змішування репрезентативних уявлень з нейронними мережевими моделями. Гібридний підхід підтримують деякі дослідники (наприклад, Рон Сон).

Конекціонізм проти обчислювання

Коли конекціонізм ставав все більш популярним в кінці 1980-х років, деякі дослідники (включаючи Джеррі Фодора, Стівена Пінкера та інших) відреагували на це. Вони стверджували, що зв'язок, як тоді розвивався, загрожував знищити те, що вони бачили як прогрес, досягнутий у сфері когнітивної науки і психології за класичним підходом обчислювання. Обчислювальний підхід є специфічною формою когнітивізму, яка стверджує, що розумова діяльність є обчислювальною, тобто розум діє, виконуючи суто формальні операції над символами, як машина Тюрінга. Деякі дослідники стверджували, що тенденція в конекціонізму представляє собою повернення до асоціалізму і відмову від ідеї мови думок, яку вони вважали помилковим. Навпаки, саме ці тенденції робили зв'язок привабливим для інших дослідників.

Конекціонізм та обчислювальний підхід не повинні бути протирічними, але дебати наприкінці 1980-х та початку 1990-х років призвели до протистояння між двома підходами. Протягом дебатів деякі дослідники стверджували, що конекціонізм і обчислювальна діяльність повністю сумісні, хоча повного консенсусу з цього питання не досягнуто. Відмінності між двома підходами включають наступне:

  • Обчислювачі позиціюють символічні моделі, структурно подібні структурі головного мозку, тоді як конекціоністи входять у «низькорівневе» моделювання, намагаючись забезпечити, щоб їхні моделі нагадували неврологічні структури.
  • Обчислювачі в цілому зосереджуються на структурі явних символів (ментальні моделі) і [Синтаксис|синтаксичних] правилах для своїх внутрішніх маніпуляцій, тоді як конекціоністи зосереджуються на вивченні екологічних стимулів і зберіганні цієї інформації у формі зв'язків між нейронами.
  • Обчислювачі вважають, що внутрішня психічна діяльність полягає в маніпуляції явними символами, тоді як конекціоністи вважають, що маніпуляція явними символами забезпечує погану модель розумової діяльності.
  • Обчислювачі часто покладаються на доменні символічні підсистеми, призначені для підтримки навчання в конкретних галузях пізнання (наприклад, мови, інтенціональності, числа), тоді як конекціоністи позначають один або невеликий набір дуже загальних механізмів навчання.

Незважаючи на ці відмінності, деякі теоретики запропонували, що архітектура конекціонізму — це лише спосіб, у який органічні частини мозку використовуються для реалізації системи маніпулювання символами. Це логічно можливо, оскільки добре відомо, що конекціоністичні моделі можуть реалізовувати системи маніпулювання символами, що використовуються в моделях обчислювальної техніки, оскільки вони повинні вміти пояснити здатність людини виконувати завдання з маніпулювання символами. Але дискусія ґрунтується на тому, чи є ця маніпуляція символом фундаментом пізнання взагалі, тому це не є потенційним підтвердженням обчислювального підходу. Тим не менш, обчислювальні описи можуть бути корисними описами високого рівня логіки, наприклад.

Дискусія значною мірою зосереджувалася на логічних аргументах про те, чи можуть мережі конекціоністів виробляти синтаксичну структуру, та що спостерігається в такого роду міркуваннях. Це було досягнуто пізніше, хоча за допомогою процесів, які малоймовірно були б можливими в мозку, тривали дебати. Починаючи з 2016 року, прогрес у нейрофізіології та загальний прогрес у розумінні нейронних мереж призвів до успішного моделювання великої кількості цих ранніх проблем, і дебати про фундаментальне пізнання, таким чином, значною мірою вирішувалися серед нейрологів на користь конекціоністів. Тим не менш, ці досить недавні події ще мають досягти консенсусу серед тих, хто працює в інших сферах, таких як психологія або філософія розуму.

Частиною привабливості обчислювальних описів є те, що їх порівняно легко інтерпретувати, і тому їх можна розглядати як внесок у наше розуміння конкретних психічних процесів, тоді як конекціоністичні моделі взагалі є більш непрозорими, оскільки вони можуть бути описані лише в дуже загальних термінах (такими як алгоритм навчання, кількість елементів тощо), або в умовах низького рівня. У цьому розумінні моделі конекціоністів можуть створювати і таким чином доводити широку теорію пізнання (тобто конекціонізм), не представляючи корисну теорію конкретного процесу, який моделюється. У цьому сенсі дебати можуть розглядатися як певна відмінність на рівні аналізу, в якому окремі теорії формуються.

Нещодавня популярність динамічних систем у філософії розуму додала нового погляду на дискусію; деякі автори тепер стверджують, що будь-який розрив між з'єднанням і обчислювальним підходом більш виразно характеризується як розкол між обчислювальними та динамічними системами.

У 2014 році Алекс Грейвс та інші з DeepMind опублікували серію робіт, що описують нову структуру Deep Neural Network, яка називається нейронною машиною Тюринга[12], здатною читати символи на стрічці і зберігати символи в пам'яті. Реляційні мережі, інший модуль Deep Network, опублікований компанією DeepMind, здатний створювати об'єктно-подібні уявлення та маніпулювати ними, щоб відповісти на складні питання. Реляційні мережі та машини нейронного Тюринга є ще одним доказом того, що конекціонізм та обчислювальний підхід не повинні бути протилежними поняттями.

Див. також

Примітки
  1. Гарсон, Джеймс (27 Листопада 2018). У Зальта, Едвард Н. Філософська енциклопедія Стенфордського університету. Дослідна лабораторія метафізики Стенфордського університету — через Стенфордська енциклопедія філософії.
  2. Encephalos Journal. www.encephalos.gr. Процитовано 20 лютого 2018.
  3. Вілсон, Елізабет А. (4 лютого 2016). Нейронні географії: фемінізм і мікроструктура пізнання (англ.). Routledge. ISBN 9781317958765.
  4. Робототехніка натхненна організмом: гомеостатична адаптація та телеологія за межами закритого сенсомоторного циклу.
  5. Zorzi, Marco; Testolin, Alberto; Stoianov, Ivilin P. (20 серпня 2013). Моделювання мови та пізнання з глибоким навчанням: огляд підручника. Межі в психології 4. ISSN 1664-1078. PMC 3747356. PMID 23970869. doi:10.3389/fpsyg.2013.00515.
  6. АНАЛІТИЧНА ТА КОНТИНЕНТАЛЬНА ФІЛОСОФІЯ.
  7. Брауне, А. (1 січня 1997). Перспективи нейронної мережі щодо пізнання та адаптивної робототехніки (англ.). CRC Press. ISBN 9780750304559.
  8. Пфейфер, Р.; Шчретер, З.; Фогельман-Сулі, Ф.; Стілс, Л. (23 серпня 1989). Конекціонізм у перспективі (англ.). Elsevier. ISBN 9780444598769.
  9. Ново, Марія-Люсія; Алсіна, Анджел; Марбан, Хосе-Марія; Берсіано, Аінхоа (2017). З'єднувальний інтелект для дитячої математики. Comunicar (ісп.) 25 (52): 29–39. ISSN 1134-3478. doi:10.3916/c52-2017-03.
  10. Хорнік, К.; Стінчкомп, М.; Вайт, Х. (1989). Багатошарові канали прямого зв'язку є універсальними апроксиматорами. Нейронні мережі 2 (5): 359. doi:10.1016/0893-6080(89)90020-8.
  11. Андерсон, Джеймс A.; Розенфілд, Едвард (1989). Глава 1: (1890) Вільям Джеймс Психологія (Короткий Курс). Нейрокомп'ютинг: основи досліджень. A Bradford Book. с. 1. ISBN 978-0262510486.
  12. Грейвс, Алекс. «Нейронна машина Тюрінга». arXiv:1410.5401.

Джерела
  • Румельхарт, Д. Є., Дж. Л. МакКлилланд і PDP Research Group (1986). Паралельно розподілена обробка: дослідження в мікроструктурі пізнання. Видання 1: Основи, Кембрідж, Массачусетс: MIT Press, ISBN 978-0262680530
  • Румельхарт, Д. Є., Дж. Л. МакКлилланд і PDP Research Group (1986). Паралельно розподілена обробка: дослідження в мікроструктурі пізнання. Видання 2: Психологічні та Біологічні Моделі, Cambridge, Massachusetts: MIT Press, ISBN 978-0262631105
  • Пінкер, Стівен та Мельхер, Джаккус (1988). Зв'язки та символи, Кембрідж MA: MIT Press, ISBN 978-0262660648
  • Джеффрі Л. Ельман, Елізабет A. Бейтс, Марк H. Джонсон, Аннет Карміллоф-Сміт, Доменіко Парісі, Кім Планкетт (1996). Переосмислення невиразності: зв'язок з перспективою розвитку, Кембрідж MA: MIT Press, ISBN 978-0262550307
  • Маркус, Гарі Ф. (2001). Алгебраїчний розум: інтеграція конекціонізму та когнітивної науки (навчання, розвиток і концептуальні зміни), Кембрідж, Массачусетс: MIT Press, ISBN 978-0262632683
  • Девід A. Медлер (1998). Коротка історія конекціонізму. Neural Computing Surveys 1: 61–101.

Посилання
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.