Навчання без учителя

Навчання без вчителя (англ. Unsupervised learning, самоосвіта, спонтанне навчання) — один зі способів машинного навчання, при вирішенні яких випробовувана система спонтанно навчається виконувати поставлене завдання, без втручання з боку експериментатора. З точки зору кібернетики, є одним з видів кібернетичного експерименту. Як правило, це підходить тільки для задач, в яких відомий опис множини об'єктів (навчальна вибірка), і необхідно виявити внутрішні взаємозв'язки, залежності, закономірності, що існують між об'єктами.

Частина з циклу
Машинне навчання
та добування даних
Задачі

Навчання без вчителя часто протиставляється навчанню з учителем, коли для кожного об'єкта, що навчається, примусово задається «правильна відповідь», і потрібно знайти залежність між стимулами та реакціями системи.

Зв'язок з фізіологією

Не дивлячись на численні прикладні досягнення, навчання з учителем критикувалося за свою біологічну неправдоподібність. Важко уявити навчаючий механізм у мозку, який би порівнював бажані та дійсні значення виходів, виконуючи корекцію з допомогою зворотного зв'язка. Якщо припустити подібний механізм в мозку, тоді звідки виникають бажані виходи? Навчання без вчителя є набагато більш правдоподібною моделлю навчання у біологічній системі. Розвинена Кохоненом та багатьма іншими, вона не потребує цільового вектора для виходів, отже не потребує порівняння з визначеними ідеальними відповідями[1].

Поняття «навчання без вчителя» в теорії розпізнавання образів

Для побудови теорії та відходу від кібернетичного експерименту у різноманітних теоріях експеримент з навчанням без вчителя намагаються формалізувати математично. Існує багато різних підвидів постановки та визначення даної формалізації. Одна з яких відображена у теорії розпізнавання образів.

Такий відхід від експерименту та побудова теорії пов'язані з різними поглядами спеціалістів. Відмінності, зокрема, проявляються при відповіді на питання: «Чи можливі єдині принципи адекватного описання образів різноманітної природи, або ж таке описане кожен раз є задача для спеціалістів конкретних знань?».

В першому випадку постановка повинна бути направлена на виявлення загальних принципів використання апріорної інформації при складанні адекватного опису образів. Важливо, що тут апріорні відомості про образи різноманітної природи різні, а принцип їх обліку один й той самий. У другому випадку проблема отримання опису виноситься за межі загальної постановки, і теорія навчання машин розпізнаванню образів з точки зору статистичної теорії навчання розпізнаванню образів може бути зведена до проблеми мінімізації середнього ризику в спеціальному класі вирішальних правил[2].

В теорії розпізнавання образів розрізняють в основному три підходи до даної проблеми[3]:

  • Евристичні методи;
  • Математичні методи;
  • Лінгвістичні (синтаксичні) методи.

Типи вхідних даних
  • Ознаковий опис об'єктів. Кожен об'єкт описується набором своїх характеристик, що називаються ознаками. Ознаки можуть бути числовими або нечисловими.
  • Матриця відстаней між об'єктами. Кожен об'єкт описується відстанями до всіх інших об'єктів навчальної вибірки.

Розв'язувані задачі

Експериментальна схема навчання без вчителя часто використовується у теорії розпізнавання образів, машинному навчанні. При цьому в залежності від підходу формалізується в ту чи іншу математичну концепцію. І тільки у теорії штучних нейронних мереж задача розв'язується експериментально, застосовуючи той чи інший вид нейромереж. При цьому, як правило, отримана модель може не мати інтерпретації, що іноді відносять до недоліків нейронних мереж. Проте, отримані результати нічим не гірше, і за бажанням можуть бути інтерпретовані при застосуванні спеціальних методів.

Задачі кластеризації

Експеримент навчання без вчителя при розв'язуванні задачі розпізнавання образів можна сформулювати як задачу кластерного аналізу. Вибірка об'єктів розбивається на підмножини, що не перетинаються (вони називаються кластерами), так, щоб кожен кластер складався зі схожих об'єктів, а об'єкти різних кластерів суттєво відрізнялись. Початкова інформація представляється у вигляді матриці відстаней.

Методи розв'язання

Кластеризація може грати допоміжну роль при розв'язанні задач класифікації та регресії. Для цього треба спочатку розбити вибірку на кластери, потім до кожного кластера застосувати який-небудь простий метод, наприклад, наблизити цільову залежність константою.

Методи розв'язання

Задачі узагальнення

Так само як і у випадку експериментів по розрізненню, що математично може бути сформульовано як кластеризація, при узагальненні понять можна дослідити спонтанне узагальнення, при якому критерії подібності не вводяться ззовні або не нав'язуються експериментатором.

При цьому в експерименті по «чистому узагальненню» від моделі мозку або перцептрону потребується перейти від виборчої реакції на один стимул (припустимо, квадрат, що знаходиться в лівій частині сітківки) до подібного йому стимулу, який не активує жодного з тих самих сенсорних закінчень (квадрат в правій частині сітківки). До узагальнення більш слабкого виду відноситься, наприклад, вимога, щоб реакції системи поширювалися на елементи класу подібних стимулів, які не обов'язково відокремлені від вже показаного раніше (або почутого, або сприйнятого на дотик) стимулу.

Задачі пошуку асоціативних правил

Початкова інформація представляється у вигляді ознакових описів. Завдання полягає в тому, щоб знайти такі набори ознак, і такі значення цих ознак, які особливо часто (невипадково часто) зустрічаються в ознакових описах об'єктів.

Задачі зниження розмірності

Початкова інформація представляється у вигляді описів ознак, причому число ознак може бути достатньо великим. Завдання полягає в тому, щоб представити ці дані в просторі меншої розмірності, по можливості, мінімізувати втрати інформації.

Методи розв'язання

Задачі візуалізації даних

Деякі методи кластеризації та зниження розмірності будують вибірки в просторі розмірності два. Це дозволяє відображати багатовимірні дані у вигляді пласких графіків і аналізувати їх візуально, що сприяє кращому розумінню даних і самої суті розв'язуваної задачі.

Методи розв'язання

Деякі застосування

Див. також

Примітки
  1. Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика. — М.: Мир, 1992
  2. Вапник В. Н., Червоненкис А. Я., Теория распознавания образов. Статистические проблемы обучения, 1974
  3. Ту Дж., Гонсалес Р. Принципы распознавания образов, М. 1978

Література
  • Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: основы моделирования и первичная обработка данных. — М.: Финансы и статистика, 1983.
  • Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: исследование зависимостей. — М.: Финансы и статистика, 1985.
  • Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: классификация и снижение размерности. — М.: Финансы и статистика, 1989.
  • Журавлев Ю. И., Рязанов В. В., Сенько О. В. «Распознавание». Математические методы. Программная система. Практические применения. — М.: Фазис, 2006. ISBN 5-7036-0108-8.
  • Загоруйко Н. Г. Прикладные методы анализа данных и знаний. — Новосибирск: ИМ СО РАН, 1999. ISBN 5-86134-060-9.
  • Мандель И. Д. Кластерный анализ. — М.: Финансы и статистика, 1988. ISBN 5-279-00050-7.
  • Шлезингер М., Главач В. Десять лекций по статистическому и структурному распознаванию. — Киев: Наукова думка, 2004. ISBN 966-00-0341-2.
  • Розенблатт, Ф. Принципы нейродинамики: Перцептроны и теория механизмов мозга = Principles of Neurodynamic: Perceptrons and the Theory of Brain Mechanisms. — М. : Мир, 1965. — 480 с.
  • Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика = Neural Computing. Theory and Practice. — М. : Мир, 1992. — 240 с. — ISBN 5-03-002115-9.
  • Л. Б. Емельянов-Ярославский, Интеллектуальная квазибиологическая система, М., «НАУКА», 1990 — книга про один підхід самоосвіти у відповідності з квазібіологічною парадигмою

Посилання
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.