Породжувальна модель

В теорії ймовірностей та статистиці поро́джувальна моде́ль (англ. generative model) — це модель для породження випадковим чином значень спостережуваних даних, зазвичай для певних заданих прихованих параметрів. Вона визначає спільний розподіл ймовірності над послідовностями спостережень та міток. Породжувальні моделі застосовуються в машинному навчанні або для безпосереднього моделювання даних (тобто для моделювання спостережень, випадково витягнутих з функції густини ймовірності), або як проміжний крок для формування умовної функції густини ймовірності. Умовний розподіл може бути сформовано з породжувальної моделі через правило Баєса.

Шеннон (1948) наводить приклад, у якому таблиця частот пар англійських слів застосовується для породження речення, яке починається з «representing and speedily is an good»; що не є правильною англійською, але все більше й більше наближуватиме її з просуванням таблиці від пар слів до триплетів, і так далі.

Породжувальні моделі контрастують із розрізнювальними в тому, що породжувальна модель є повною ймовірнісною моделлю всіх змінних, тоді як розрізнювальна забезпечує модель лише для цільової змінної (змінних) залежно від спостережуваних. Таким чином, породжувальна модель може застосовуватися, наприклад, для імітації (тобто, породження) значень будь-якої змінної в моделі, тоді як розрізнювальна модель дозволяє лише вибірку цільових змінних залежно від спостережуваних величин. Незважаючи на те, що розрізнювальні моделі не потребують моделювання розподілу спостережуваних змінних, вони не можуть в загальному випадку виражати складніші відношення між спостережуваними та цільовими змінними. Вони не обов'язково працюють краще за породжувальні моделі в задачах класифікації та регресії. В сучасних застосуваннях ці два класи розглядаються як взаємнодоповнювальні, або як різні погляди на одну й ту саму процедуру.[1]

Типи породжувальних моделей

Типи породжувальних моделей включають:

Якщо спостережувані дані вибираються з породжувальної моделі істинно, то поширеним методом є узгодження параметрів породжувальної моделі для максимізації правдоподібності даних. Проте, оскільки більшість статистичних моделей є лише наближеннями істинного розподілу, якщо призначенням моделі є здійснення висновків про підмножину змінних залежно від відомих значень інших змінних, то може бути показано, що це наближення робить більше припущень, ніж є необхідним для розв'язання наявної задачі. В таких випадках може бути точнішим моделювати функції умовної густини безпосередньо, із застосуванням розрізнювальної моделі (див. вище), хоча в кінцевому рахунку диктувати, який підхід є найбільш підхожим в кожному конкретному випадку, будуть специфічні особливості застосування.

Див. також

Примітки
  1. C. M. Bishop and J. Lasserre, Generative or Discriminative? getting the best of both worlds. In Bayesian Statistics 8, Bernardo, J. M. et al. (Eds), Oxford University Press. 3–23, 2007. (англ.)

Джерела
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.