Розрізнювальна модель

Розрі́знювальні моде́лі (англ. discriminative models), що також називають умо́вними моде́лями (англ. conditional models), є класом моделей, які застосовуються в машинному навчанні для моделювання залежності неспостережуваної змінної $y$ від спостережуваної змінної $x$ . В рамках імовірнісної схеми це здійснюється моделюванням умовного розподілу ймовірності $P(y|x)$ , який може застосовуватися для передбачення $y$ з $x$ .

Розрізнювальні моделі, на противагу до породжувальних, не дозволяють породжувати приклади зі спільного розподілу $x$ та $y$ . Проте для таких задач як класифікація та регресія, що не потребують спільного розподілу, розрізнювальні моделі можуть демонструвати чудову продуктивність.[1][2][3] З іншого боку, породжувальні моделі є зазвичай гнучкішими за розрізнювальні у вираженні залежностей в складних задачах навчання. До того ж, більшість розрізнювальних моделей за своєю природою є керованими, і їх неможливо легко розширити для спонтанного навчання. В кінцевому рахунку вибір між розрізнювальною та породжувальною моделлю диктують особливості конкретного застосування.

Визначення

На відміну від породжувального моделювання, яке вчить спільний розподіл $P(x,y)$ , розрізнювальне моделювання навчається $P(y|x)$ або прямому відображенню заданої не спостережуваної (цільової) змінної $x$ в клас міток $y$ в залежності від спостережуваних змінних (тренувальних прикладів). При практичному розпізнаванні об'єктів, $x$ , зазвичай, є вектором (наприклад, рядком пікселів або ознаками, отриманими з зображення, тощо). З ймовірнісної точки зору, це досягається моделювання умовної ймовірності $P(y|x)$ , що використовується для прогнозування $y$ по $x$ . Зауважимо, що є різниця між умовною моделлю та дискримінаційною моделлю, хоча найчастіше вони класифікуються як дискримінаційна модель.

Чиста розрізнювальна модель порівнянно з умовною моделлю

Умовна модель моделює умовний ймовірнісний розподіл, а розрізнювальна модель прагне оптимізувати відображення вхідних даних навколо найбільш подібних тренувальних даних[4].

Приклади

Приклади розрізнювальних моделей, що використовуються в машинному навчанні, включать:

Логістичну регресію, один із типів узагальненої лінійної регресії, що застосовується для передбачення двійкових або категорійних виходів (відомий також як максимально-ентропійні класифікатори)
Метод опорних векторів
Підсилювання (мета-алгоритм)
Умовні випадкові поля
Лінійну регресію
Нейронні мережі

Див. також

Породжувальна модель

Примітки

P. Singla and P. Domingos. Discriminative training of Markov logic networks. In AAAI, 2005. (англ.)
J. Lafferty, A. McCallum, and F. Pereira. Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data. In ICML, 2001. (англ.)
A. Ng and M. I. Jordan. On Discriminative vs. Generative Classiﬁers: A Comparison of Logistic Regression and Naive Bayes. In NIPS, 2001 (англ.)
Ballesteros, Miguel. Discriminative Models. Процитовано 28 жовтня 2018.^{[недоступне посилання з вересня 2019]}

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.

[1] P. Singla and P. Domingos. Discriminative training of Markov logic networks. In AAAI, 2005. (англ.)

[2] J. Lafferty, A. McCallum, and F. Pereira. Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data. In ICML, 2001. (англ.)

[3] A. Ng and M. I. Jordan. On Discriminative vs. Generative Classiﬁers: A Comparison of Logistic Regression and Naive Bayes. In NIPS, 2001 (англ.)

[:0-4] Ballesteros, Miguel. Discriminative Models. Процитовано 28 жовтня 2018.^{[недоступне посилання з вересня 2019]}