Метод k-найближчих сусідів

Ме́тод k-найбли́жчих сусі́дів (англ. k-nearest neighbor method) — простий непараметричний класифікаційний метод, де для класифікації об'єктів у рамках простору властивостей використовуються відстані (зазвичай евклідові), пораховані до усіх інших об'єктів. Вибираються об'єкти, до яких відстань найменша, і вони виділяються в окремий клас.

Приклад класифікації k найближчих сусідів. Тестовий зразок (зелене коло) повинен бути класифікований як синій квадрат (клас 1) або як червоний трикутник (клас 2). Якщо k = 3, то класифікується як 2-й клас, тому що всередині меншого кола 2 трикутника і тільки 1 квадрат. Якщо k = 5, то він буде класифікований як перший клас (3 квадрата проти 2-ох трикутників всередині більшого кола).

Частина з циклу
Машинне навчання та добування даних
Задачі класифікація кластерування регресія виявляння аномалій очищування даних АвтоМН асоціативні правила навчання з підкріпленням структурове передбачування конструювання ознак навчання ознак інтерактивне навчання напівавтоматичне навчання спонтанне навчання навчання ранжуванню виведення граматик
Кероване навчання (класифікація • регресія) ансамблі випадковий ліс натяжкове агрегування підсилювання дерева рішень доречно-векторна машина k-НС лінійна регресія логістична регресія наївне баєсове опорно-векторна машина штучні нейронні мережі перцептрон
Кластерування BIRCH CURE ієрархічне k-середніх очікування-максимізація DBSCAN OPTICS зсув середнього
Знижування розмірності факторний аналіз метод незалежних компонент канонічна кореляція лінійний розділювальний аналіз метод головних компонент власний узагальнений розклад розклад невід'ємних матриць t-розподілене вкладення стохастичної близькості
Структурове передбачування графові моделі баєсова мережа прихована марковська модель умовне випадкове поле
Виявляння аномалій k-НС коефіцієнт локального відхилення
Штучна нейронна мережа автокодувальник когнітивні обчислення глибинне навчання DeepDream багатошаровий перцептрон рекурентна нейронна мережа ДКЧП ВРВ МВС обмежена машина Больцмана ГЗМ самоорганізаційне відображення згорткова нейронна мережа U-Net трансформер спайкова нейронна мережа мемтранзистор Електрохімічна ПДД (ECRAM)
Навчання з підкріпленням Q-навчання SARSA метод часових різниць
Теорія Компроміс зсуву та дисперсії ймовірносно приблизно коректне навчання мінімізація емпіричного ризику оккамове навчання статистичне навчання теорія Вапника — Червоненкіса теорія обчислювального навчання
Місця машинного навчання NeurIPS ICML ML JMLR ArXiv:cs.LG
Пов'язані статті глосарій штучного інтелекту список наборів даних для досліджень з машинного навчання перелік понять машинного навчання

Метод k-найближчих сусідів — метричний алгоритм для автоматичної класифікації об'єктів. Основним принципом методу найближчих сусідів є те, що об'єкт приписується класу, найпоширенішому серед його сусідів. Сусіди беруться, виходячи з множини об'єктів, класи яких уже відомі, і, виходячи з ключового для даного методу значення k, вираховується найчисленніший серед них клас. Кожен об'єкт має кінцеву кількість атрибутів (розмірностей). Передбачається, що існує певний набір об'єктів з уже наявною класифікацією.